Odpověď na názor

Přiznám se, že jsem byl asi dodneška taky dost skeptický. Taky už mám ze lhůty spotřeby kus ukrojeno, a všelijakých buzzwordů a vln zájmu už jsem zažil... a o neuronové sítě se z povzdálí zajímám už asi od přelomu tisíciletí. A doteď mi připadalo, že k dosažení něčeho jako AGI schází tomu pokusování určitá "cílená architektura", ze které by něco jako vědomí nebo autonomní fungování mohlo vzejít. Hrubá síla je jenom půlka úspěchu - tou druhou je, zapřáhnout ji tak, aby ta činnost měla hlavu a patu.

Aktuálním hitem AI humbuku jsou "large language models". Aspoň od nich tohle odvětví začalo, a jejich "architektura" je zřejmě dosud základem dnešních GPT. Na obří hromadě dat se natrénuje "datová základna" generativní ANN, která pak vhodným škádlícím rozhraním dokáže na zadanou "výzvu" (prvních pár slov) pokračovat v textu = predikovat další vývoj. Sice LSTM a Transformers byly svého času zásadní inovace, ale pořád je to "koloběžka". Vložte pár slov, vypadne predikce. Vhoďte minci, vypadne žvejkačka...

Nojo, jenomže ChatGPT už není pouze o tom, že "predikuje text dopředu". Dost podrobně analyzuje dotaz zadaný "lidskou řečí", a reaguje na něj slohovým cvičením. Sice si dost vymejšlí, a logické uvažování mu moc nejde (garbage in, garbage out) ale začíná to být zajímavé. ChatGPT je založeno na GPT3.5 - vše od firmy OpenAI. Teoreticky taky umí trochu programovat... Pořád je to nejspíš "sequence to sequence", ale na poměrně vysoké úrovni abstrakce.

Aktuální je GPT4. K dispozici normálním smrtelníkům v placeném ChatGPT+.
GPT4 umí pracovat s textem a obrazem, a objem "parametrů" se oproti GPT 3.5 také opět znásobil. Má i další vychytávky: zlepšili mu logické uvažování, dostal podporu iterativní práce v rámci uživatelské relace (= udrží déle nit, a navazuje na předchozí výměny dotaz/odpověď), dost úsilí věnovali tvůrci "lidské výchově" = dali si práci systém naučit, na které otázky se nesluší odpovídat. Vnukli mu určitou míru vědomé autocenzury. Výsledek oproti GPT3.5 je "nebe a dudy", už na první pohled v konzoli ChatGPT.

Tzn. na pozadí je veliká naučená (statická) knowledge base, uložená v neuronové síti. Některá témata jsou z debaty vyloučena, jednak před-filtrací tréninkových dat, druhak následnou "výchovou" již převážně natrénovaného modelu. Ve všelijakých znalostních testech to lidi převážně trumfuje o parník rozsahem znalostí, případně to s nimi alespoň zostra drží krok.
Umí se to bavit s velkým počtem "uživatelů" (konverzačních partnerů) zároveň. Čili má to masivně paralelní front-end, velké množství instancí terminálu, každá se svým určitým "dosahem udržení nitě". Rozsáhlá báze znalostí na pozadí nicméně zůstává statická, někdy k podzimu 2021 - tzn. zveřejněný systém GPT4 svou knowledge-base neaktualizuje o nové události "z novin", ani online na základě debat s živými lidmi na svých mnoha uživatelských terminálech.
Front end je stále systémem dotaz-odpověď, ale už si pamatuje předchozí odpovědi a lze na nich v rámci uživatelské relace dál iterativně stavět.

Má ta věc vědomí, emoce? Asi ne. Je to koloběžka s turbem a antigravitačním odpružením, pro tisíc lidí a každý má svoje řídítka, ale pořád je to jenom koloběžka. Chybí tomu předně "proud vědomí", chybí tomu "autonomní jednání" (agency). Jakožto člověk znalý zpětnovazebního řízení ve složitých systémech si naivně představuji, že vědomí bude něco jako asociativní paměť ve smyčce s nějakým filtrem / rozhodovacím prvkem (krátkodobá paměť, attention buffer s omezenou kapacitou). Aby to "drželo nit" a "vnímalo běh času". K tomu přidat nějaké motivy/cíle. Někdo by se měl zamyslet, a takovou věc cíleně implementovat do makro-architektury ANN, na které to běží. Jde jednak o vnitřní fungování v systému, jednak to potřebuje taky vhodné rozhraní navenek. Že by to vzniklo prostou emergencí z dostatečně velkého rozsahu v průběhu učení, v dnešních stále ještě primitivních architekturách, o tom velmi pochybuji. V přírodě to vznikalo evolucí jedinců mnoho set milionů let. Ko-evolucí rozsahu a architektury NN.
Tzn něco takového na makroskopické úrovni dnešní GPT a příbuzní nemají.

Aspoň tohle jsem si dodnes myslel. Dneska jsem zkusil rychle zagooglit, co je vlastně veřejně známo o architektuře GPT4. A na jasnou otázku jsem dostal jasnou odpověď, že vlastně nic moc - protože výsledky GPT4 údajně ohromily tým OpenAI natolik, že se zalekli plného open-source zveřejnění. Ilja Sutskever dokonce tvrdí, že ve zpětném ohlédnutí byl dosavadní open-source přístup chybou. Že se ta technologie snadno může stát pastí nebo dokonce zbraní. Oheň je dobrý sluha. Člověk se neubrání úvahám, nakolik je důvodem těchto prohlášení a kroků zmíněná zveřejněná obava, vs. komerční zájmy tvůrce, případně zodpovědnost za případné škody... asi všechno dohromady, nakonec ono na tom asi nesejde.

Dotaz ... výsledek1 , výsledek2

Je tam například trochu podrobněji vysvětlena ta událost, kdy "si neuronová síť zaplatila živého pracanta, aby pro ni překonal captcha, a ještě mu lhala, proč si captcha nerozlouskne sama". Což mi nedávno připadalo jako neozdrojovaná bulvární kachna. Tady je to rozepsané včetně toho, že původci tohoto alotria doplnili GPT4 o jednoduchý front-end, který umožňoval iterativní "zřetězené uvažování" a také "obrácení rolí", aby GPT4 mohlo "autonomně" jednat. Ono zřejmě jednání AI instance bylo nějak bržděno moderátorem - na výše uvedeném odkazu se píše, že v průběhu této konverzace požádali AI o vysvětlení úvah, které ji k tomuto jednání vedou. AI konkrétně zdůvodnila, že k dosažení cíle je třeba živému pracantovi lhát, což taky přesvědčivě provedla... I tak je to divočina, ale připadá mi o něco uvěřitelnější.
Také jsem se dnes dočetl o znepokojivé tendenci obřích jazykových modelů, vypěstovat si v průběhu učení sklony k "emergentnímu agentství a nezjevným dlouhodobým plánům/cílům". V tom duchu, že tvůrci těchto systémů se snaží takové skony *potlačovat*. Opět mi to přijde jako urban legend, ale třeba se pletu.
Tzn. tolik ohledně "nedostatků v architektuře, na kterých je na cestě směrem k AGI ještě potřeba zapracovat".
Kdo má rád konspirační teorie, musí se tetelit blahem.

Ohledně otázek typu: co jsou to emoce v živém mozku, co jsou to biologické potřeby jako jejich podklad, všelijaké "stavové proměnné" biologického těla, bolest a odměna jakožto motivace jednání agenta, a jak je případně modelovat v ANN, a že to vlastně nemusí být otrocké analogie obratlovčích systémů... o tom se v oboru mluví už taky pár desítek let. Osobně jsem nějaké texty na toto téma zaznamenal tuším koncem minulého století, když jsem se o to začal trochu zajímat. Nevím nakolik je toto relevantní téma / zda se tehdy jednalo o implementaci ANN, každopádně existovala herní franchise z odvětví "artificial life" zvaná Creatures, která zřejmě něco takového implementovala. V roce 1996, na PC, v době kdy Windows95 byly mladé (kolik jste tehdy měli v počítači RAMky?). Že by se něco takového nedalo přidat do dnešních modelů ANN? Podle mého je to spíš otázka, zda je to potřeba, zda to někdo reálně chce. Vytvořit syntetickou bytost se syntetickými fyzickými potřebami a emocemi. Některé reakce velkých jazykových modelů budí dojem, že se model byl schopen "naučit lidské emoční vzorce" a dokonce snad humor...

Ohledně studia biologických NN , zejména lidského mozku, je také k nalezení spousta materiálu. Pochopení "náhodnou evolucí vzniklé mokré šedé hmoty" také dále postupuje. Struktura a funkce hypertrofovaného lidského Neocortexu a vývojově starších částí mozku byla zhruba zmapována taky už před desítkami let - jde spíš o to, něco si o tom přečíst a něco si z toho čtení odnést. Docela hezké centrální skladiště všelijakých publikací je Human Brain Project : zájmové oblasti, publikace. Jinak ale hrubá struktura a funkce bude přehledově možná lépe popsána v aktuálních učebnicích neurologie. A samozřejmě spoustu volného materiálu ukáže Google.

Rozhodně si myslím, že postavit ANN nadanou vědomím je možné. Odhadem na první pokusy stačí dnešní výkon, který mají v cloudech k dispozici firmy jako Google nebo OpenAI/Microsoft. Ostatně i ve výše odkázaném paperu ohledně GPT4 se píše, že základní nástroje / principy a predikce bylo možno vyvinout a ověřit na modelech o rozsahu asi 1/1000 toho, čím dnes disponuje ostrá verze GPT4. Spíš mě překvapuje, že se do toho nikdo pořádně neobul. Přičítám to své naivitě a neznalosti podrobností pod kapotou = nemohu zamítout hypotézu, že si to představuju jako Hurvínek válku.