127 09 (2)

[ Pobierz całość w formacie PDF ]
.Na poziomie komórkowym neurony pozbawione informacji wytwarzaj� wiele receptorów i poluj� na nowe dane, dostarczane przez neuroprzeka�niki.Ryc.9.7.Typowa architektura samoorganizuj�cej si� sieci Kohonena.Kó�ka odpowiadaj� neuronom, strza�ki � po��czeniom.Willshaw i von der Malsburg opracowali "odgórne" algorytmy dla sztucznej sieci neuronowej, które wykazuj� podobn� elastyczno�� jak samoorganizuj�ca si� kora mózgowa.Zjawisko samoorganizacji bada� dalej Kohonen, który wykorzysta� uproszczon� wersj� algorytmu Willshawa i von der Malsburga.69Samoorganizuj�ce si� mapy mózguSamoorganizuj�ca si� sie� neuronowa Kohonena ró�ni si� od wielowarstwowego perceptronu i sieci Hopfielda, poniewa� sk�ada si� z jednej, dwuwymiarowej warstwy neuronów; ka�dy z neuronów na wej�ciu jest po��czony ze wszystkimi neuronami w tej warstwie (Ryc.9.7).Podczas treningu, na przyk�ad w czasie nauki przekszta�cania mowy w tekst, w sieci powstaje automatycznie odpowiednia mapa cech.Podobnie jak w przypadku przestrzennej organizacji komórki Rayleigha-Benarda i reakcji Bie�ousowa-�aboty�skiego, kluczowym elementem sieci, pozwalaj�cym na samoorganizacj�, jest nieliniowe sprz�enie zwrotne.70 Jednak cz�steczki w komórce konwektywnej lub podczas reakcji BZ oddzia�uj� tylko z s�siednimi komórkami, natomiast neurony mog� oddzia�ywa� na du�� odleg�o��.Sie� Kohonena ma mniejsz� liczb� po��cze� ni� sie� Hopfielda: sprz�enie zwrotne ogranicza si� do oddzia�ywa� mi�dzy procesorami znajduj�cymi si� blisko siebie w dwuwymiarowej warstwie.W�z�y tej warstwy generuj� odpowied� i bior� udzia� w utworzeniu zorganizowanej mapy danych wej�ciowych.Kohonen, czerpi�c inspiracj� z biologii, wprowadzi� regu�y dzia�ania sieci zdolnej do uczenia si� bez nadzoru.Istnieje do�� bliska analogia mi�dzy tymi badaniami a prac� omawian� w rozdziale 7., dotycz�c� morfogenezy hydry.Podobnie jak w tamtym przypadku, kluczowym elementem, pozwalaj�cym na powstanie samoorganizuj�cych si� struktur neuronowych, jest kombinacja oddzia�ywa� pobudzaj�cych i hamuj�cych � w tym przypadku po��cze� mi�dzy neuronami.Neurony po�o�one blisko aktywnej (pobudzonej) komórki � zach�cane do wys�ania sygna�u, a le��ce dalej � hamowane.Kohonen uzasadni� wybór architektury i regu� uczenia si� tym, �e wi�kszo�� naturalnych sieci w mózgu, zw�aszcza w korze mózgowej, to dwuwymiarowe warstwy jednostek przetwarzaj�cych, g�sto po��czonych mechanizmami horyzontalnego sprz�enia zwrotnego.Aby uzasadni� ilo�� po��cze� mi�dzy neuronami w swym modelu, Kohonen wskaza�, �e w korze mózgowej na ka�dy neuron przypada do 10 000 po��cze�.Dowody do�wiadczalne � na przyk�ad badania naczelnych � po�wiadczaj� istnienie tych wspó�zawodnicz�cych oddzia�ywa�.Krótkozasi�gowe wzbudzenia horyzontalne docieraj� na odleg�o�� 50-100 mikronów.Obszar wzbudzenia jest otoczony pier�cieniem o �rednicy 200-500 mikronów, sk�adaj�cym si� z komórek poddanych oddzia�ywaniom hamuj�cym.Wykres zmian poziomu pobudzenia w zale�no�ci od odleg�o�ci ma posta� sombrera (Ryc.9.8).71Ryc.9.8.Wykres stopnia pobudzenia (pobudzanie '+', hamowanie '�') wzale�no�ci od odleg�o�ci od danego neuronu ma posta� sombrera.Taka zale�no��jest typowa dla mózgu ssaków.W modelu tym w naturalny sposób pojawia si� lokalizacja funkcji, taka jak� obserwuje si� w rzeczywistym mózgu.Sieci Kohonena znalaz�y wiele zastosowa�.Sam Kohonen interesowa� si� przede wszystkim budow� "fonetycznej maszyny do pisania" � elektronicznego procesora tekstu, mog�cego pisa� pod dyktando.Jest to szczególnie trudne zadanie z zakresu rozumienia mowy.Jak wspomnieli�my w rozdziale 5., symulacja naturalnego j�zyka stwarza du�e problemy.Oprócz podstawowej interpretacji d�wi�ków ludzie bez wysi�ku uwzgl�dniaj� inne czynniki, takie jak kontekst, sk�adni�, rozbiór gramatyczny i wnioskowanie, a na dok�adk� ka�dy cz�owiek mówi nieco inaczej.Nasz aparat s�uchowy zawiera sprytny filtr, pozwalaj�cy wydzieli� mow� z ha�a�liwego t�a, na przyk�ad na przyj�ciu.72 Uczeni po�wi�cili wiele energii na próby poradzenia sobie z tymi komplikacjami, u�ywaj�c konwencjonalnych metod, wykorzystuj�cych specyficzne modele.Podej�cie Kohonena ��czy najlepsze znane sposoby rozwi�zania problemu przetwarzania mowy.Sie� neuronowa uczy si� bez nadzoru rozpoznawania tylko podstawowych d�wi�ków -fonemów.Po treningu na ró�nych tekstach mówionych maszyna do pisania poprawnie zapisuje 92-97% tekstu dyktanda (oczywi�cie po fi�sku, w ojczystym j�zyku Kohonena � maj�cym charakter zdecydowanie fonetyczny).73 Kohonen nast�pnie zmodyfikowa� sie� tak, aby radzi�a sobie z mówcami, którzy nie brali udzia�u w treningu.W tym celu opracowa� wariant samoorganizuj�cej si� mapy cech, dostrajaj�cy map� utworzon� podczas treningu.74 Dopasowanie sieci do nowego mówcy wymaga oko�o stu s�ów i dziesi�ciu minut treningu.Prace Kohonena mia�y du�y wp�yw na zwi�kszenie zainteresowania zastosowaniem sieci neuronowych do rozwi�zywania z�o�onych problemów, nie tylko biologicznych.Rozwini�ciem tych sieci s� adaptacyjne sieci rezonansowe, które przedstawili�my w rozdziale 5.Takie sieci pozwalaj� przezwyci�y� dylemat stabilno�ci i plastyczno�ci oraz stanowi� rozwini�cie koncepcji samoorganizuj�cej si� sieci Kohonena.Algorytmy mózgoweRzecz jasna, sieci ucz�ce si� bez nadzoru maj� swoje wady.Cz�sto sk�adaj� si� tylko z jednej warstwy, chocia� sieci naturalne s� wielowarstwowe.Co gorsza, dzia�aj� powoli i niedok�adnie.75 Wed�ug Geoffreya Hintona, informatyka z Uniwersytetu w Toronto, wszystko, co wiemy na temat cyklu pracy neuronów � pobudzanych, gdy rozpoznajemy szept w szumie wielu rozmów lub ukryte znaczenie politycznego stwierdzenia � mówi nam wyra�nie, �e obecne sztuczne sieci neuronowe s� zbyt powolne [ Pobierz całość w formacie PDF ]

�

pobieranie @ do ÂściÂągnięcia @ pdf @ download @ ebook

Podobne