Riskuj už nikdy nebude jako dřív, vyhrávají počítače

Ale notak, "Watson je superpočítač IBM"? Watson je distribuovane vyzkumne centrum IBM, pojmenovane po http://en.wikipedia.org/wiki/Thomas_J._Watson - take je to ocividne nazev projektu, kteremu se venuji.

[1] Jak jsem koupil, tak prodávám. V odkazovaném článku se píše: "Watson is IBM's latest supercomputer based on the company's DeepQA software..."

A opravdu rozpoznává řeč? Nečte to spíš z obrazovky? Má fakt jenom mikrofony a žádnou kameru?

Řeč nerozpoznává. Otázky dostává v plaintextu. Spíš se jen snaží pochopit tu otázku a správně na ni odpovědět.

[4] Tuhle informaci jsem nikde nenašel, ale nevylučuji, že to tak je. Blogpost jsem upravil do neutrálna. Každopádně jsem našel informaci o tom, že "moderátorovi soutěže trvá obvykle asi tři sekundy než přečte otázku. To je také časové okno, do kterého se Watson musí vejít." Z toho opravdu plyne, že má celý text otázky k dispozici už během čtení.

Na takovémhle počítači jsem si chtěl vždycky zahrát :), ne je to neskutečnej nášup. I jestli má k dispozici text jedná se celkem o monstrum.

Tak po přečtení [4] a [5] moje nadšení silně opadlo. Pokud během těch 3s (silně podhodnoceno, třeba 1:12-1:22, otázku čte 10s) najde odpověď, pak logicky nemá člověk skoro šanci se přihlásit, protože počítač mačká tlačítko okamžitě. Všechny ty bulvární titulky o vyhrávajícím počítači hned v tomto světle nefér pravidel vypadají jinak. Koukněte na 1:23, ten chlap to ví, ale prostě se nepřihlásí za 0,001s jako komp.

Akorát nechápu tu část s tím "Kdo je Karel Gott?" - jak se na to ptají soutěžící?

Nemusí se spíš ptát "Je to Karel Gott?" (pak by dávalo smysl i to s tou intonací, ze "Kdo je Karel Gott?" jenom změnou intonace oznamovací větu udělat neumím).

[8] Jak to chápu já, tak je možné tu otázku formulovat libovolně. Ale musí to být odpověď otázkou.

[8] Protože to nejspíš vůbec žádná otázka není a autor se nechal zmást tím, co se snaží vysvětlit. Mě tenhle popis taky zmátl, ale z videa je z intonace celkem evidentní, že to nejsou otázky, ale odpovědi, takže třeba "Who is Macaulay Culkin?" je vlastně "Who is Macaulay Culkin." (žádný otazník). Stejně jako třeba "the man who is the strongest" není otázka. Přeložil bych to jako "Což je XYZ" nebo "To je XYZ".

[10] Nene, to že se musí odpovídat otázkou nemám z tohohle videa. Navíc i Wikipedie to potvrzuje: "The first contestant to ring in successfully, following the host's reading of the clue, must then respond in the form of a question."

[10] Asi nevite, ze v anglictine se otazka tvori slovosledem a ne intonaci.

[10], [11]
Tak samozřejmě, formálně to otázka je. I v češtině (nebude-li si jistí) můžete odpovědět otázkou. Intonačně ale soutěžící často spíš oznamují. To mi přijde zajímavé - kdyby možná čeští nákupci práv netvrdili, že to v češtině nejde, a přijali americký model odpovědi "Je to ...(?)", tak jde soutěž dodnes ;-)

[7] Ale vsak i o tom to je. Je to pocitac, je to jedna z jeho mnoha vyhod... otazku si precte rychleji nez ostatni, zpracuje ji rychleji a i rychleji odpovi.

[10] Spis je to tak, ze komentator precte napovedu... treba: "Prezident Ceske republiky." a soutezici odpovi otazkou "Kdo je Vaclav Klaus?". Ted kdyz to otocis, tak zjistis, ze soutezici odpovida otazkou na napovedu. "Kdo je Vaclav Klaus? Je to prezident Ceske republiky."

[7] má pravdu. Je to celé nafouknutá bublina. Nejobjektivnějšího srovnání lze dosáhnou úpravou soutěže. Třeba že soutěžící otázky nebudou vidět a budou jen poslouchat pokládající otázku a v průběhu si budou postupně utvářet odpověď. A podobně watson nebude mít otázku ve chvíli její vybrání celou ve své paměti ale že si ji bude v průběhu rovněž, podobně jako člověk, formovat a utvářet si odpověď. Co se týče reakce člověka na stisknutí tlačítka, tak doufám že mechanické spínání které je použito u watsona má podobnou dynamiku jako prst člověka :-). Ale stejně by byla lepší soutěž kde se počítá úspěšnost stejné sady zodpovězených otázek každým soutěžícím zvlášť a popřípadě při sledování jejich časového splnění. Ale chápu že taková soutěž by nebyla tolik atraktivní a nepřitáhla by tolik zvědavých očí než tak léty populární vědomostní soutěž Jeopardy!. Ovšem když si uvědomíme že i beztak Watson vyhrál tuhle soutěž jen o vlásek - kdy soutěžící Ken dorovnal skóre před zodpovězení poslední otázky (soudě podle přiloženého videa) tak se nejedná o moc super velký průlom nad člověkem. Ovšem uznávám že i bez patříčné výhry by se jednal o systém vcelku průlomový a unikátní. Ale ono je lepší při prezentaci produktu říci že superpočítač nad člověkem vyhrál než že k tomu měl blízko :-).

no ale ty sutaziaci maju tiez plain text. na tej tabuly kde su tie ceny sa ukaze text otazky.

Jo jenže soutěžící potřebují taky nějaký čas na přečtení a pochopení otázky. To počítač zvládne během zlomku sekundy - časový rozdíl bude patrně násobně větší.

Teda pouze přečtení otázky. Pochopení již není o počítače samozřejmou a triviální záležitostí.

[*] Naopak, myslím že je to sice jen demonstrace ale průlomové technologie (to polidštění ve formě specifických zadání dalšího požadavku nasvědčuje že je to show).

[15] Nelze srovnávat člověka a stroj. Mechanicky je to úplně jedno, až se stroj naučí hrat poker težko budeš argumentovat nějakou výhodou člověka vs stroje. Prostě a jednoduše stroj zpracovává výsledky téměř "přirozené řeči".

Spíš by mě zajímalo kdy mačkal, s ohledem na skutečnost že se Watson nikdy nespletl je otázkou jestli mačká až ví nebo mačká dopředu když tuší a dolaďuje výsledek. Protože se nikdy nespletl (což ani člověk ne).

Celé to naopak kazí to že jsou tam právě lidé kteří jsou v těchto soutežích dobří, a báze dat neuvěřitelně malá. Např na infolinkách aka 1188 by se imho watson uživil (i na 1180). Googlí support taky slušne rozeznával, tahle doba nás čeká.

pro doplnění.

http://www-03.ibm.com/innovation/us/watson/what-is-watson/why-jeopardy.html

asi otázky opravdu dostává v textu, cílem je pochopit přirozený jazyk ne rozpoznat hlas.

[19]: Myslim si, ze Watson stisknul tlacitko az v dobe, kdyz uz si byl moc dobre jisty odpovedi (neriskoval)... kdyz kamera nazoomovala na tu obrazovku, tak jsou na ni videt procentualni hodnoty, rekl bych, ze to je jistota v odpovedi Watsona. Otazky kde si byl jisty jen treba z 67% radsi neodpovidal, kdykoliv ale vedel, tak se prihlasil a vyhral. Takze bych rekl, ze v okamziku, kdy Watson zna odpoved, tak ji prakticky automaticky vyhrava, prave diky tem vyhodam (jako zmacknuti tlacitka rychleji nez ostatni). Nechapu nadavky na tyto jeho vyhody... je to stroj, proc by se mu mela delat umela omezeni, aby byl jako clovek? Nechte ho byt strojem se vsim vsudy.

Hm, já tu odpověď otázkou chápu tak, že to co říká moderátor je de fakto odpověď a oni k ní musí vymyslet otázku. Proto k "Je to největší český zpěvák blablabla" řeknou "Kdo je Karel Gott?" protože úkolem není jakoby říct odpověď, ale říct otázku k zadané odpovědi.

Riskuj byla soutez druheho nalevu? A co je soutez prvniho nalevu? Cesko hleda superstar? Kolotoc?

[22] Ano, pravděpodobně to tak je. Díky za upřesnění.

[23] Nenapsal jsem "byla to soutěž druhého nálevu", ale "byla považována za soutěž druhého nálevu". Rozhodně bylo Riskuj v Česku považováno za menší soutěžní formát než třeba Superstar. Nehodnotím co je lepší nebo horší. Spíš jde o to, kolik pozornosti a peněz se kterému projektu věnovalo.

[20] tak to byl tedy watson v nevýhodě, protože člověk stoprocentně dolaďuje i zpětně. Z podstaty věci má člověk asi hranici pro rozhodnutí zmáčknu nezmáčknu.

[24] Tak tedy kazdy jinak citime pojem "druhý nálev"

[8], [9]: Ono se zřejmě u nás vůbec nepochopil princip Jeopardy!, který je zcela jednoduše shrnut na Wikipedii:

„...Why not do a switch, and give the answers to the contestant and let them come up with the question? She fired a couple of answers to me: "5,280" – and the question of course was "How many feet in a mile?". Another was "79 Wistful Vista"; that was Fibber and Mollie McGee's address.“

Tedy moderátor předkládá soutěžícím odpovědi, soutěžící musí reagovat správnou otázkou k dané odpovědi. V češtině například:
Moderátor: Nejslavnější český zpěvák, který nedávno oslavil 70 let.
Soutěžící: Kdo je Karel Gott?

Proti tomu v české verzi moderátor téměř pokaždé (v licenci i pak bez ní) zadával soutěžícím úkoly (Který..., Vyjmenujte tři..., Opravte překlepy) a na takové je hloupost odpovídat otázkou v jakémkoli jazyce, zcela bez závislosti na pravidlech pro vytvoření otázky v daném jazyce.

Jinými slovy, TV Nova při přejímání formátu odstranila to základní, čím byla soutěž unikátní a vyrobila vlastně běžný kvíz. Není divu, že to tvůrci Jeopardy! odmítli pokrýt licencí a Nova tak vlastně ušetřila.

No mne na tom taky hodne zaujalo to, ze Watson neni behem souteze pripojen k internetu (aby "nepodvadel") a tedy musi cerpat vyhradne ze svych databazi. A jinak ti dva jeho souperi jsou opravdu ve svem oboru borci, oba v americkem Riskuj vyhrali miliony dolaru.

Super! Další průlom v nové inteligentní entitě odlišné od člověka. A co se týče některých diskutérů - nesnažte se znevýhodnit stroj tam, kde má právě onu výhodu. Šlo o to, aby v našem světě projevil to, co strojům obecně chybí - intuici. Nejtěžší pro ně je právě pochopit, co je klíčové v té větě a hledat odpověď. A hlavně se zbavit i klasických smyček strojům tak vlastní: start task - analyze - solution - end of cycle, ale spíš neustále v onom kontextu pokračovat a zpětně se poučit - to bude ještě fuška :-)
Proto si myslím, že omezit jej nějakým OCR, nebo mechanickým výstupem relé je celé nesmysl, to je jako šachové automaty nutit táhnout figurky mechanickou rukou... Je to hlavně cesta, jak projít Turingem!

Proč by tu otázku nešlo položit v češtině?

[28] viz to video co jsem linkoval, nejde jen o to pochopit co je otázka (přesněji) odpověď - to samo o sobě považuji za velkej úspěch ale hlavně jde o to jak ty organizovat výsledky aby jejich "index" byl popsatelný přirozenou řečí.

Q: Člověk co vyhrál nejvíce Zlatých slavíků
A: Kdo je Karel Gott?

Takže nejde o to najít výsledek (které číslo z 5 a 6 je větsí) vyžvejknout strojově. Ale k přirozené odpovědi najít její "obraz" ve zdrojových datech. By mě zajímalo jak by to zafungovalo třeba u vyhledávačů

Restaurace v brně kde mají salámovou pizzu. vs +pizzeria +restaurace +brno +salámová

[27] myslím že česká verze byl v podstatě nesekvenční azkvíz.

[*] zajímavé bylo jak jim exponenciálně rostla úspěšnost, makali na tom několik let.

IMO to pan Krcmar popsal hloupe. Soutezici odkryvaji odpovedi, ke kterym maji vymyslet otazku.

Dale namitka v diskuzi, ze by to pocitac mel take cist z obrazovky, mi prijde hloupa, protoze OCR je uz spolehlive a nebyl by problem to tak realizovat = z hlediska vyzkumu na tom neni nic zajimaveho.

[7] Řekl bych, že počítač vždycky neodpovídá hned, i když odpověď zná. Třeba v čase 2:55 má odpověď nad čarou a přitom se k odpovědi nedostal. Tipnul bych si, že reakční čas uzpůsobuje spolehlivosti své odpovědi.

jak teda vytvori odpoved? to chcete rict ze mysli? to snad ne. chapu ze pc umi prohledat databazi nebo internet, ale kdyz mu polozim jakoukoliv otazku typu, co se stane kdyz hodim pomeranc na zed, tak snad na tohle neodpovi spravne

[34] A právě o to jde... Pokud si tu otázku rozložíte na jednotlivé části (kdo, co....) a přijdete s nějakým systémem, jak s nimi pracovat, tak na takovou otázku může takový systém odpovědět. Myslet budou počítače ne tehdy, když se projdou turningovým testem, ale až budou soběstačné natolik, aby pro další vývoj a přizpůsobení se situaci nepotřebovali lidi - a i pak to bude otázka, co vlastně "myslet" znamená.

No a treba se casem budeme my prizpusobovat pocitacum...

[15] Udělat tuhle soutěž korektní jde imho jedině tak, že se budou soutěžící moci hlásit kdykoliv po zveřejnění otázky. Jakmile to všichni 3 vědí (soutěžící po 2s, Watson po 9s, otázka se čte 10s) a otázku vždy získá Watson, protože logicky umí rychle mačkat, tak to je trochu o ničem.
(Teda nepopírám ten úspěch v pokroku jako takový, jen se mi nelíbí ta zkreslená prezentace v Jeopardy, že je lepší než lidé - ano, je lepší, v rychlosti mačkání tlačítka, jak překvapivé)

[33] Podle mě jak to nemá na třeba 90% tak na to kašle, protože ví, že těch 90%+ otázek bude dost, ty vždy získá a to na výhru stačí, tak proč riskovat.

Trochu jsem nepochopil proč ty otázky, normálně najdou odpověď na základě "dotazu" jako vyhledávač a pak před to plácnou buď "what is" nebo "who is", aspoň já tam tedy žádnou jinou nezaslechl. Takže ta tvorba otázky to prakticky nijak nedělá těžší/neoživuje. Navíc jsem měl pocit, že některé ty otázky se moc nehodily, ale jakmile tam je what/who is a odpověď, tak se to prostě uzná.

# 17. 01. 2011, 19:10 GR napsal:

Hm, já tu odpověď otázkou chápu tak, že to co říká moderátor je de fakto odpověď a oni k ní musí vymyslet otázku. Proto k "Je to největší český zpěvák blablabla" řeknou "Kdo je Karel Gott?" protože úkolem není jakoby říct odpověď, ale říct otázku k zadané odpovědi.
=====

Nejak jsem dosud nemohl pochopit ty linqvisticke teoremy v diskuzi i clanku. GR je clovek jez to shrnul strucne a jasne!

[38] hlavní finta je asi v tom že na jednu odpověď může existovat více otázek. a to je jedna z těch core myšlenek watsona pochopit "smysl" té odpovědi protože třeba 90210 jako odpověď v google vyhodí milion odkazů.

34: mysliet == v masivnom paralelizme prehladavat databazu. cize ak bude databaza dost velka, stroj bude dost rychly a bude mat zmysly/metody na komplexnu interakciu so svetom ako clovek, bude mat stroj vedomie ako clovek.

[39] 90210 je houby cislo...co takova odpoved 42? :-)

jen tak momochodem zeptejte se wiki na 42 a koukněte do referenci .

Dobrý den,

jak si představuju takový počítač já?

Obří paměť(na přípravu rychlý download a čas...). Sofistikované hledání klíčových slov. Překlad mluveného slova a poté porovnání a dle počtu shod výslednou odpověď...

Nic inteligentního:o)

Myslim ze by si s wikipediou velmi nepomohol.
Predsa len urcita odozva tam je. To by nestihol.

Já to chápu tak, že ta odpověď "Who is Karel Got" ve skutečnosti neni otázka, ale velmi volně přeloženo to znamená "Ten někdo (koho hledáme)je Karel Got". "Where is Prague" - "To kde (na které se ptáme) je Praha" atp...