[ Pobierz całość w formacie PDF ]
.Minsky powiedzia³ o tym modelu: "Opowiada on o baœniowej krainie, w której rzeczy s¹ tak uproszczone, ¿e niemal ka¿de twierdzenie na ich temat by³oby fa³szywe, gdyby zastosowaæ je do rzeczywistoœci".H.Dreyfus, What Computers StiU Can't Do, s.9.26.Ibid., s.xi.27.W.S.McCulloch, W.Pitts, "Bull.Math.Biophysics" 5, 115 (1943).28.Zaproponowali oni koncepcjê formalnych, binarnych neuronów, mog¹cych przyjmowaæ tylko jeden lub dwa sygna³y wejœciowe; Rosenblatt rozszerzy³ tê koncepcjê, mówi¹c o dowolnej liczbie danych.29.N.Wiener, Cybernetics.MIT Press, Massachusetts, Cambridge 1986.30.N.Wiener, Cybernetics, or Control and Communication in the Animal and the Machine.Wyd.II.MIT Press i John Wiley & Sons, Nowy Jork -Londyn 1961,8.116.31.F.Rosenblatt, "Psychological Review" 65, 386 (1958).Rosenblatt k³adzie nacisk na statystyczn¹, czyli przypadkow¹ naturê sieci, nie zaœ na analizê logiczn¹, jak to czynili McCulloch i Pitts.32.1.Aleksander, P.Burnett, Thinking Machines: The Search for Artificial Intelligence, s.157.33.Chodzi³o o to, ¿e perceptron nie mo¿e rozwi¹zaæ problemu XOR, który nie jest "liniowo separowalny".M.Minsky, S.Papert, Perceptrons: An Introduction to Computational Geometry, Expanded Edition.MIT Press, Massachusetts, Cambridge 1988, s.227: "Wiele twierdzeñ dowodzi, ¿e perceptrony nie mog¹ rozpoznawaæ pewnych struktur".34.M.Minsky, S.Papert, Perceptrons: An Introduction to Computational Geometry, wydanie rozszerzone, prolog.35.Ibid.36.Obecnie wiadomo, ¿e warstwa sigmoidalnych ukrytych jednostek wystarcza, by sieæ mog³a dzia³aæ jak uniwersalny aproksymator.Nie rozwi¹zane pozostaje pytanie, jak liczba ukrytych jednostek dostraja siê do rozmiarów problemu.Zob.: K.Hornick, M.Stinchcombe, H.White, "Neural Networks" 2, 359 (1989); K.Hornick, M.Stinchcombe, H.White, P.Auer, "Neural Networks" 6, 1261 (1994).37.Podstawowym warunkiem dzia³ania metody wstecznej propagacji b³êdu jest ró¿niczkowalnoœæ odwzorowania wejœcie-wyjœcie.W rzeczywistoœci to maszyna Boltzmanna (omawiana poni¿ej) stanowi³a pierwszy ucz¹cy siê algorytm dla wielowarstwowych sieci z ukrytymi jednostkami.38.P.Werbos, Beyond Regression: New Trends for Prediction and Analysis in the Behavioral Sciences; rozprawa doktorska, Uniwersytet Harvarda 1974.Jego idea nie wywar³a jednak wp³ywu na dalsze badania, poniewa¿ Werbos nie wykaza³, ¿e algorytm wstecznej propagacji mo¿e dzia³aæ.39.Inne lekarstwa na trudnoœci z nauk¹ wielowarstwowych percep-tronów to zmniejszenie szybkoœci zmian wag, zwiêkszenie liczby wêz³Ã³w w ukrytej warstwie i dodanie szumu (por.maszyna Boltzmanna).Bardziej drastyczne rozwi¹zanie polega na zastosowaniu do opisu sieci funkcji radialnych.40.J.Hopfield, "Proc.Natl.Acad.Sci.USA" 79, 2554 (1982).41.William Shakespeare, Makbet.Prze³o¿y³ S.Barañczak.W drodze, Poznañ 1992, akt V, scena 3.42.Zob., na przyk³ad, tekst M.Lea, w: Advanced Digital Information Systems, I.Aleksander (red.).Prentice Hall, New Jersey, Englewood Cliffs 1984.43.Proszê zwróciæ uwagê, ¿e pamiêæ asocjacyjna i sieci neuronowe s¹ doœæ luŸno zwi¹zane: jedna nie implikuje drugiej.Mo¿na tu wymieniæ równie¿ asocjacyjn¹ sieæ Willshawa i sieæ ADAM (advanced distributed associative memory network), bêd¹c¹ ulepszeniem poprzedniej.44.Wa¿nym problemem jest charakter stanów przyci¹gaj¹cych.Podobnie jak w nieliniowej dynamice, gdzie wystêpuj¹ punkty stale, cykle graniczne, torusy i dziwne atraktory (zob.rozdzia³ 6), takie same stany mog¹ w zasadzie pojawiæ siê w sieciach neuronowych.Najprostsze s¹ punkty sta³e – w takim przypadku sieæ zachowuje siê w jeden, powtarzalny sposób.Obecnie bada siê g³Ã³wnie takie stany, z uwagi na – powszechnie przyjmowane w celu uproszczenia problemu – za³o¿enie równowagi szczegó³owej, które oznacza, ¿e waga po³¹czenia miêdzy neuronami A i B jest taka sama, jak miêdzy B i A.Za³o¿enie to nie ma ¿adnych podstaw fizjologicznych, przeciwnie, w zastosowaniach biologicznych jest b³êdne, choæ b³¹d ten nie ma wielkiego znaczenia.Cykl graniczny implikuje zapamiêtanie zachowania dynamicznego, czyli struktury okresowej, natomiast dziwny atraktor odpowiada³by aperiodycznemu zapamiêtywaniu informacji.Teraz, gdy ju¿ rozumiemy w³asnoœci symetrycznych po³¹czeñ miêdzy neuronami, mo¿emy ³atwiej poradziæ sobie z bardziej z³o¿onymi po³¹czeniami asymetrycznymi.45.Hopfield i inni badacze czêsto mówi¹ o "powierzchni energii", nie zaœ b³êdów, z uwagi na analogiê miêdzy b³êdem sieci i energi¹ swobodn¹ w szkle spinowym.46.D.Hebb, Organization oj behaviour.Wiley, Nowy Jork 1949.47.J.J.Hopfield, D.W.Tank, "Biological Cybernetics" 52, 141 (1985).W rzeczywistoœci ta sieæ sprawia k³opoty ca³ej dziedzinie, poniewa¿ sprawuje siê tak kiepsko, ¿e nawet dziœ nie jest konkurencyjna wobec innych technik.Prawdziwe znaczenie wymienionej pracy polega na tym, ¿e autorzy pokazali, jak mo¿na sformu³owaæ problemy optymalizacji z wiêzami pos³uguj¹c siê sieciami neuronowymi.48.G.Hinton, T.Sejnowski, D.Ackley, Boltzmann Machines: Constraint Satisfaction Networks That Learn, "Tech.Rep.CMU CS" 84, 111 (Carnegie-Mellon University, Pittsburgh 1984); zob.równie¿: G.Hinton, T.Sejnowski, w: Parallel Distributed Processing, tom l, D.E.Rumelhart, J.L.McClelland (red.).MIT Press, Massachusetts, Cambridge 1986, s.282.49.Fa³szywe lub pozorne minima powstaj¹ na ogó³ wtedy, gdy sieæ samoorganizuje siê, tworz¹c zbiór atraktorów (szczególnych uk³adów pobudzonych neuronów) do zapamiêtywania informacji, na przyk³ad zgodnie z regu³¹ Hebba.Niemal nieuchronnie powstaj¹ wtedy dodatkowe minima, które trzeba usun¹æ.Informacja jest zapamiêtywana wskutek celowych zmian wag; powstawanie dodatkowych minimów wolno interpretowaæ jako nieintencjonalne zapamiêtywanie pewnych struktur
[ Pobierz całość w formacie PDF ]