Vlákno názorů ke článku ChatGPT: Umělá inteligence programuje podle textového zadání v češtině od Daniel Felix Hrouzek - Ono to opravdu umí docela dost divných věcí......
-
Jj tohle je opravdu velke. Navic jak se vyjadrili "autori" projektu nikdo netusi jak je mozne ze to udelal. Proste nikdo nevi jak AI funguje. Neni to kod do ktereho se muze programator podivat ukazat prsten na radek a rict "tady je chyba".
Proste kdyz AI nefunguje nikdo ji nevi opravit. Kdyz funguje nikdo nevi proc.S AI nas ceka jina budoucnost. Jestli skvela nemyslim. Spis bude jina, hekticka a prinese jine netusene problemy.
-
Také jsem se CGPT ptal, na čem běží, jaká je infra, operační systém pro nodes, atd, po dlouhé době okecávání o nefyzické podstatě jsme se dostali aspoň k tomu, že OS na kterém to běží je buď Linux nebo Windows. Že dostává z API požadavky skrz HTTP. Že má jakési tři základní vrstvy algoritmu, příjem dotazu, zpracování dotazu a jeho distribuci mezi nodes a následné vyčištění s odpovědí. Jeeště jsem z něj vytáhl použité Python knihovny a pak už jsme se motali v kruhu. Moc toho o sobě neví. Nicméně vše výše zmíněno jsou veřejně dostupné informace.
Můj názor je, že odkrokovat algoritmus musí být možné, jde spíše o to, kolik těch agentů na kolika nodech je. Resp. nastavit nějaké metriky a pak sbírat by také mělo být možné. Ale opět, bude to obrovském množství dat. Nicméně, nechce se mi věřit, že při návrhu nemysleli na to, aby měli k dispozici možnost tracovat procesy, dumpy průběhu zpracování algoritmů, případně otisky paměti, které musí být lze analyzovat i když se jedná o obrovskou neuronovou síť. Ale stále to běží na procesorech, v paměti a používá se HTTP protokol k výměně informací mezi nody, agenty a API. Ale nejsem ani náhodou expert AI, nebo matematik, jen prostý infrák.
-
OK. To vsechno mame. Ale co s tim? Nalzeneme nejaky neuron a rekneme ze je spatny? Nebo premostime nejake "synapse". Umime to? Pomuze to?
Zda se ze se blizime tomu jak zkoumame lidsky mozek. Vime z ceho se sklada, dokazeme zmapovat synapse, neurony, kolik to spotrebovava energie ale stejne netusime jak vlastne funguje. -
Reverzním inženýrství modelu založeného na deep learningu rozhodně není jednoduchá metoda. Jsem poznamenán bankovním sektorem, kde se například řeší modely pro schvalování úvěrů a hypoték. Byl jsem svědkem toho, že se netrénoval model pomocí neuronových sítí, ale ten se nikdy nepoužil při samotném schvalování úvěrů, protože je netransparentní. Byla snaha pochopit, proč se neuronka chová právě takto a na základě toho se pak vytvořila logistická regrese, jejiž chování je čitelnější pro normálního smrtelníka.
-
> Proste nikdo nevi jak AI funguje.
S veškerou úctou, troufnu si nesouhlasit.
Lidi kteří tyhle systémy staví a postupně vylepšují, momentálně jsme od obrazových deep-learning záležitostí pokročili k transformers, GPT a tak... vědí na poměrně mnoha úrovních, jak ta věc funguje. Jinak by nedokázali na té architektuře dál makat.Nejsem odborník, ale pokud mohu soudit, problém je zhruba v tom, jak získat nějaký vnější vhled do naučených "znalostí". Konkrétně u jazykových modelů, rozložit si to klubko různě tlustých nití a špagátků po stole a najít v tom nějaký smysl, strukturu... Téhle úrovni chybí "debugger". A taky ne tak docela. Třeba pro "deep" architektury s konvolučními vrstvami, používané na zpracování obrazu, existují nástroje, které nějakým způsobem zobrazí naučené "mapy" v různých vrstvách sítě. A třeba Ray Kurzweil ve své knížce tvrdí, že když před dnes už desítkami let pracovali na jazykových modelech (tuším pro zpracování psané a mluvené řeči, tehdy na bázi LSTM/RNN) tak dokázali pozorovat málem na úrovni jednotlivých neuronů, jak se síť sama učí pravidla a výjimky v jazyce, které by třeba lidský analytik/programátor měl problém postřehnout a explicitně zapsat. Čili nějaké nástroje na to měli/mají.
Pokud mohu soudit, čím vyšší úrovně abstrakce je architektura schopna, tím hůř se to naučené klubíčko rozplétá. Jako že vzít naučený model "deep" ANN a převést ho na vztahovou síť ve stylu klasického expertního systému... jestli nakonec není problém v tom, že naše kapacita vědomě chápat složitější vztahová klubíčka je omezená :-) Ve všem hledáme jednoduché pochopitelné struktury, snažíme se dekomponovat problém na subsystémy, se kterými si jednotlivě dovedeme poradit... A navíc ta "naučená mentální mapa" nemá formát dat jako experní systém. Každý neuron má větší počet různě významných příspěvků od různých výstupů "předchozí vrstvy"...
Pokud mohu soudit, i dnešní systémy fungují tak, že mají určitou rigidní architekturu, řekněme "blokovou topologii" či vrstevnatost - až na některé experimentátory tato není běžně automaticky evolvována. Ostatně jak byste takové evoluci definoval kriteriální funkci? Myslím nějakou prakticky použitelnou v rámci genetického algoritmu. Tzn. makro-topologie systému bývá dnes daná, a pouze se učí data ze vstupního materiálu. Tady se nedivím lidem, kteří třeba staví systémy typu "language model", a smějí se jiným lidem, kteří u takových systémů doufají ve spontánní emergenci AGI. A už ujíždím off topic :-)
