[ Pobierz całość w formacie PDF ]
.9.7.Typowa architektura samoorganizuj¹cej siê sieci Kohonena.Kó³ka odpowiadaj¹ neuronom, strza³ki – po³¹czeniom.Willshaw i von der Malsburg opracowali "odgórne" algorytmy dla sztucznej sieci neuronowej, które wykazuj¹ podobn¹ elastycznoœæ jak samoorganizuj¹ca siê kora mózgowa.Zjawisko samoorganizacji bada³ dalej Kohonen, który wykorzysta³ uproszczon¹ wersjê algorytmu Willshawa i von der Malsburga.69Samoorganizuj¹ce siê mapy mózguSamoorganizuj¹ca siê sieæ neuronowa Kohonena ró¿ni siê od wielowarstwowego perceptronu i sieci Hopfielda, poniewa¿ sk³ada siê z jednej, dwuwymiarowej warstwy neuronów; ka¿dy z neuronów na wejœciu jest po³¹czony ze wszystkimi neuronami w tej warstwie (Ryc.9.7).Podczas treningu, na przyk³ad w czasie nauki przekszta³cania mowy w tekst, w sieci powstaje automatycznie odpowiednia mapa cech.Podobnie jak w przypadku przestrzennej organizacji komórki Rayleigha-Benarda i reakcji Bie³ousowa-¯abotyñskiego, kluczowym elementem sieci, pozwalaj¹cym na samoorganizacjê, jest nieliniowe sprzê¿enie zwrotne.70 Jednak cz¹steczki w komórce konwektywnej lub podczas reakcji BZ oddzia³uj¹ tylko z s¹siednimi komórkami, natomiast neurony mog¹ oddzia³ywaæ na du¿¹ odleg³oœæ.Sieæ Kohonena ma mniejsz¹ liczbê po³¹czeñ ni¿ sieæ Hopfielda: sprzê¿enie zwrotne ogranicza siê do oddzia³ywañ miêdzy procesorami znajduj¹cymi siê blisko siebie w dwuwymiarowej warstwie.Wêz³y tej warstwy generuj¹ odpowiedŸ i bior¹ udzia³ w utworzeniu zorganizowanej mapy danych wejœciowych.Kohonen, czerpi¹c inspiracjê z biologii, wprowadzi³ regu³y dzia³ania sieci zdolnej do uczenia siê bez nadzoru.Istnieje doœæ bliska analogia miêdzy tymi badaniami a prac¹ omawian¹ w rozdziale 7., dotycz¹c¹ morfogenezy hydry.Podobnie jak w tamtym przypadku, kluczowym elementem, pozwalaj¹cym na powstanie samoorganizuj¹cych siê struktur neuronowych, jest kombinacja oddzia³ywañ pobudzaj¹cych i hamuj¹cych – w tym przypadku po³¹czeñ miêdzy neuronami.Neurony po³o¿one blisko aktywnej (pobudzonej) komórki – zachêcane do wys³ania sygna³u, a le¿¹ce dalej – hamowane.Kohonen uzasadni³ wybór architektury i regu³ uczenia siê tym, ¿e wiêkszoœæ naturalnych sieci w mózgu, zw³aszcza w korze mózgowej, to dwuwymiarowe warstwy jednostek przetwarzaj¹cych, gêsto po³¹czonych mechanizmami horyzontalnego sprzê¿enia zwrotnego.Aby uzasadniæ iloœæ po³¹czeñ miêdzy neuronami w swym modelu, Kohonen wskaza³, ¿e w korze mózgowej na ka¿dy neuron przypada do 10 000 po³¹czeñ.Dowody doœwiadczalne – na przyk³ad badania naczelnych – poœwiadczaj¹ istnienie tych wspó³zawodnicz¹cych oddzia³ywañ.Krótkozasiêgowe wzbudzenia horyzontalne docieraj¹ na odleg³oœæ 50-100 mikronów.Obszar wzbudzenia jest otoczony pierœcieniem o œrednicy 200-500 mikronów, sk³adaj¹cym siê z komórek poddanych oddzia³ywaniom hamuj¹cym.Wykres zmian poziomu pobudzenia w zale¿noœci od odleg³oœci ma postaæ sombrera (Ryc.9.8).71Ryc.9.8.Wykres stopnia pobudzenia (pobudzanie '+', hamowanie '–') wzale¿noœci od odleg³oœci od danego neuronu ma postaæ sombrera.Taka zale¿noœæjest typowa dla mózgu ssaków.W modelu tym w naturalny sposób pojawia siê lokalizacja funkcji, taka jak¹ obserwuje siê w rzeczywistym mózgu.Sieci Kohonena znalaz³y wiele zastosowañ.Sam Kohonen interesowa³ siê przede wszystkim budow¹ "fonetycznej maszyny do pisania" – elektronicznego procesora tekstu, mog¹cego pisaæ pod dyktando.Jest to szczególnie trudne zadanie z zakresu rozumienia mowy.Jak wspomnieliœmy w rozdziale 5., symulacja naturalnego jêzyka stwarza du¿e problemy.Oprócz podstawowej interpretacji dŸwiêków ludzie bez wysi³ku uwzglêdniaj¹ inne czynniki, takie jak kontekst, sk³adniê, rozbiór gramatyczny i wnioskowanie, a na dok³adkê ka¿dy cz³owiek mówi nieco inaczej.Nasz aparat s³uchowy zawiera sprytny filtr, pozwalaj¹cy wydzieliæ mowê z ha³aœliwego t³a, na przyk³ad na przyjêciu.72 Uczeni poœwiêcili wiele energii na próby poradzenia sobie z tymi komplikacjami, u¿ywaj¹c konwencjonalnych metod, wykorzystuj¹cych specyficzne modele.Podejœcie Kohonena ³¹czy najlepsze znane sposoby rozwi¹zania problemu przetwarzania mowy.Sieæ neuronowa uczy siê bez nadzoru rozpoznawania tylko podstawowych dŸwiêków -fonemów.Po treningu na ró¿nych tekstach mówionych maszyna do pisania poprawnie zapisuje 92-97% tekstu dyktanda (oczywiœcie po fiñsku, w ojczystym jêzyku Kohonena – maj¹cym charakter zdecydowanie fonetyczny)
[ Pobierz całość w formacie PDF ]