Tamainak inporta al du?

Erantzun laburra: bai. Orain zuen arreta neureganatu dudanez, espero dut hurrengo lerroetan ere irakurtzen jarraituko duzuela, nahiz eta neurona-sareen tamainari buruz dihardudan. Azken egunotan argitaratu den zientzia artikulu baten ildotik, neurona sare baten tamainaren ingurukoak kontatzea interesgarria izan daitekeela pentsatu dut. Historia pixka batekin hasiko gara.

Neurona sare sakonen iraultzak 2012. urtean hartu zuen indarra. Orduan argitaratu zen AlexNet sareak (bai, sareei izenak jartzen dizkiegu) 60 bat milioi parametro zituela. Horrek esan nahi du sarea osatzen duten neuronen artean 60 bat milioi konexio daudela. Giza burmuinarekiko analogia eginez, guk parametro deitzen duguna sinapsiaren parekoa da; hots, neuronen arteko konexioak. Konturatu bazarete, ez ditugu neuronak zenbatzen, euren arteko konexioak baizik, hor gertatzen baita ikasketa.

Baina 60 milioi asko al da? Hasiera batean baietz dirudi, ezta? Bada kontu egin hiru urteko umetxo batek 10^15 sinapsi dituela estimatzen dela. Zenbaki horri nola esaten zaion ere ez dakit. Pentsa: hamabost zeroko zenbakia. AlexNet sareak zazpi zero ditu. Horrela ikusita, nahiko txikia. Baina azken zortzi urteetan gure neurona sareak handiagotuz joan dira. 2018an 100 milioitik 300 milioira pasatu ginen (zortzi zeroko zenbakiak). Urtebete geroago, 1.500 milioi parametroko sare bat argitaratu zen, bederatzi zeroko zenbakietan sartuz. Urte hartan 11.000 milioi parametrotara iritsi ginen, hamar zeroko zenbakia, alajaina! Aurten, 17.000 milioirekin hasi ginen eta jada argitaratu dute 175.000 milioi parametro dituen sare erraldoi bat. Horrek esan nahi du hamaika zeroko zenbakietara iritsi garela parametro kopuruan. Zortzi urtean 60 milioitik 175.000 milioira pasatu gara. Erritmo berean jarraituz gero, eta ez dugu inongo bermerik hala izango denik, beste zortzi urte beharko genituzke giza burmuinaren pareko konexio kopuruetara iristeko.

Beraz, nahikoa al da neurona-sare baten tamaina handitzea «boteretsuago» bilakatzeko? Ez. Adibide politena ikusmen artifizialean topa dezakegu. AlexNet sarea irudiak prozesatzeko diseinatu zen bere 60 milioi parametrorekin. Gaur egun, ordea, beste sare batzuk erabiltzen ditugu, nabarmen hobeto funtzionatzen dutenak. Eta hara, 60 milioi parametro inguru dituzte baita ere! Ezberdintasunak arkitekturetan daude, hots, neurona horiek elkarren artean nola dauden lotuta, baita ikasketa planteatzeko moduan ere.

Baina tamainak badu garrantzia, bai. Egunotan argitaratu den 175.000 milioiko sare erraldoia lengoaiak prozesatzeko egin dute, eta hainbat emaitza interesgarri erakutsi dituzte. Bide batez, GPT-3 izena jarri diote sareari eta OpenAI enpresa estatubatuarrak garatu du. Ikusi nahi izan dute ea sare erraldoi hauek hobeto lortzen al duten entrenatuak izan ez diren arazoetara egokitzea. Gizakiok oso ondo egiten dugu hori, baina neurona-sare artifizialei ikaragarri kostatzen zaie. GPT-3 sareak, ordea, pauso bat aurrera eman du alor horretan, eta egileen esanetan, tamainarekin erlazionatuta dago gaitasun hori. Beraz, bai, tamaina garrantzitsua da, zalantzarik gabe. Baina ez da faktore bakarra. Asko dugu ikasteko oraindik!