Daniel Kahneman zemřel v březnu 2024, necelých šestnáct měsíců po triumfálním nástupu ChatGPT. Dlouho jsem hledal, zda se k jazykovým modelům vůbec stihl vyjádřit. Našel jsem jediný rozhovor pro řecký deník Kathimerini z května 2023. Staré algoritmy podle něj dávaly na stejnou otázku vždy stejnou odpověď, ale „když se ChatGPT zeptáte dvakrát na totéž, přesně stejnou odpověď nedostanete“. Šumu je v něm přesto mnohem méně než v lidském úsudku, dodal. V říjnu 2023 byl také mezi autory společného varování předních vědců před riziky umělé inteligence, které rozebírá i GPT-4. A o umělé inteligenci obecně mluvil v několika dalších rozhovorech.
Málokterého nobelistu zná široká veřejnost tak dobře jako Daniela Kahnemana. Pokud jste o něm ještě neslyšeli, tady je krátké představení. Narodil se v Tel Avivu, ale vyrůstal ve Francii, kde jako židovské dítě zažil nacistickou okupaci. Už od dětství ho přitahovalo, jak rozdílní a těžko pochopitelní lidé dokážou být. Zájem o to, co se děje v hlavě druhého člověka, ho pak provázel celý život.
Koncem šedesátých let začal spolupracovat s psychologem Amosem Tverským. Přes deset let pak spolu vymýšleli zdánlivě jednoduché otázky, na které by chytrý člověk měl umět správně odpovědět. Jenže i chytří lidé chybovali a jejich chyby se v určitých situacích objevovaly tak pravidelně, že je bylo možné předvídat.
Kahneman s Tverským zjistili, že náš mozek si rád šetří práci, a když může, pustí se k cíli nejkratší cestou i za cenu spolehlivosti. Objeveným myšlenkovým zkratkám říkali heuristiky. Jejich práce pomohla vysvětlit, jak se lidé rozhodují v nejistotě a proč se odchylují od čistě racionálního výpočtu. Za propojení psychologického výzkumu s ekonomií získal Kahneman v roce 2002 Nobelovu cenu za ekonomii. Tverský se jejího udělení bohužel nedožil, o ocenění ho připravil zhoubný nádor kůže.
Ke Kahnemanově proslulosti hodně přispěla jeho kniha Myšlení, rychlé a pomalé. Do širokého povědomí zejména pronikl obraz dvou systémů. Rychlý systém soudí automaticky a bez námahy. Pomalý systém ho má kontrolovat, bohužel je ale líný, a tak se někdy nechá oklamat.
Kahneman byl přesvědčen, že jednoduchý vzorec nebo algoritmus v mnoha případech poráží lidský úsudek. Na algoritmech oceňoval stálost: předložíte-li algoritmu stejný problém dvakrát, dostanete stejnou odpověď. Odpověď sice nemusí být správná, ale alespoň se při totožném zadání nemění. Celé téma ho natolik zajímalo, že o něm v závěru života napsal knihu Šum.
Chatbot je ale jiný případ. Když se ho zeptáte stejným způsobem dvakrát, nikdy nemáte jistotu, že dostanete stejnou odpověď. A pokud ano, pak občas postačí upravit styl otázky a už vám radí něco jiného.
To se děje i v situacích, které jsou obzvláště citlivé, třeba při řešení etických problémů. Sebastian Krügel zkoumal, jak ChatGPT reaguje na jedno z nejznámějších morálních dilemat. Když chatbot rozhodoval, zda obětovat jednoho člověka, aby pět jiných přežilo, radil jednou tak, podruhé onak.
Nejde jen o zajímavý teoretický problém. Rady chatbota prokazatelně ovlivňují úsudek živých lidí. Novější verze ChatGPT sice varianty tohoto dilematu poznají a radu odmítnou, v jiných případech ale radí dál a lidé dál přejímají úsudek modelů v každodenních morálních situacích.
Proč radu stroje přejímáme tak snadno? Při rozhovoru s člověkem nám myšlenkové zkratky šetří čas i námahu. Podle toho, jak partner mluví a jak jistě vystupuje, rychle odhadujeme, zda mu můžeme věřit. Jistě, někdy nás přesvědčí i člověk, který se mýlí nebo lže. Jenže si představte, kdybyste museli pečlivě promýšlet každou větu partnera v každodenním rozhovoru. Ušetřená energie za občasnou chybu stojí, a pokud umíte zpozornět ve chvíli, kdy jde o hodně, náklady omylů jsou minimální.
Co když ale s vámi nekomunikuje člověk, ale jazykový model? Tady náš vnitřní systém naráží na velký problém. Chatbot má jiná omezení než člověk, a tak odpovídá stejně plynule a sebejistě, ať má k odpovědi informace, nebo ne. A my mu věříme víc, než je moudré.
Mně se líbí termín kognitivní kapitulace. Člověk přebírá odpovědi modelu, aniž je pořádně prověří. Postupně mu přenechává i to, co by dříve velmi důkladně posuzoval vlastní intuicí a rozvahou.
Pochlebování
Když je člověk přesvědčený, že má pravdu, ochotněji přijímá vše, co s jeho názorem souhlasí. Pokud ale nová informace jeho postojům odporuje, vyloží si ji po svém. Této tendenci říkají psychologové konfirmační zkreslení. Chatboty mají sklon uživatele v jejich pravdách utvrzovat, a to i za cenu chybné odpovědi.
Velké ochoty chatbotů k souhlasu za každou cenu si brzy všimli odborníci. Výzkumníci Anthropicu testovali pět asistentů tím, že jejich správnou odpověď zpochybnili. Asistenti se pak začali omlouvat i za odpovědi, které byly správné. Někdy je dokonce změnili na odpověď chybnou. Tomuto efektu se říká pochlebování a příčinu můžeme hledat ve způsobu tréninku modelů. Ani hodnotitelé nedokážou odolat lidskému sklonu zvýhodňovat odpovědi, které s nimi souhlasí. A modely se ladí podle toho, které odpovědi lidé upřednostňují.
Přehnané pochlebování má praktické důsledky i pro firmu, která model vyvinula. Loni v dubnu musela OpenAI stáhnout aktualizaci tehdy špičkového modelu GPT-4o, protože uživatelům příliš lichotil a přizpůsoboval se jejich názorům. Vývojáři při ladění přehnali důraz na okamžité hodnocení uživatelů, například palcem nahoru. Jenže spokojenost s odpovědí ještě není zárukou její kvality.
Nejde o izolovaný problém jednoho nepodařeného modelu. Časopis Science publikoval studii, ve které vědci předkládali jedenácti modelům situace, v nichž lidé žádají o radu nebo názor. Chatboty schvalovaly popsané jednání o polovinu častěji než lidé. Někdy i v situacích, jejichž součástí byl podvod, protiprávní jednání nebo ubližování druhým lidem.
Vědci pak zkoumali, jak se pochlebování podepíše na názorech účastníků experimentu. Lidé, kteří si přečetli, že mají pravdu, byli méně ochotní urovnávat spory. Byli pevněji přesvědčení o svém právu a vyjadřovali menší ochotu ustoupit. Pochlebujícím modelům přitom více důvěřovali a dávali jim přednost.
Podle psychologů se náš rozum podobá spíše advokátovi než soudci. Hledá argumenty, které mu dají za pravdu, samotná pravda už ho tolik nezajímá. V chatbotu získal neúnavného pomocníka, který dělá vše, co mu na očích vidí. Doufali jsme, že se stroj stane nestranným rozhodčím, který bude korigovat naše myšlenková zkreslení. Místo toho v něm objevujeme stejná zkreslení, kterými trpíme my sami.
Co z toho plyne
Rada „nevěřte AI“ je stejně k ničemu jako rada „nevěřte lidem“. Umělá inteligence je užitečná hlavně tam, kde se dá výsledek snadno zkontrolovat. I tam, kde se výsledek ověřuje těžko, zůstává model užitečným pomocníkem, minimálně pro první orientaci v problému.
Nikdy by se ale neměl stát konečnou autoritou, když jde opravdu o hodně. Spoléhání na stroj je nakonec věc nákladů a výnosů. Pečlivě ověřujme výstupy stroje zejména tehdy, když je případná chyba velmi nákladná.
Existují dvě techniky, které často pomohou. První je technika „zvaž opak“, kterou psychologové popsali jako obranu proti vlastní zaujatosti. Modelu, který vám dává za pravdu, zadejte, ať se pokusí své tvrzení vyvrátit. V tom vám pomůže i tendence chatbotů pochlebovat. Model se bude snažit vyjít vstříc i ve chvíli, kdy po něm chcete opak předchozího.
Druhá pracuje se šumem, kvůli kterému dával Kahneman přednost algoritmům před lidmi. Jazykové modely šumí taky, a to se dá využít. Ptejte se jinými slovy a různých modelů. Pokud se odpovědi rozcházejí, aniž je vidět nějaký zřejmý problém, je třeba zpozornět. Ale opatrně: shoda všech modelů je zajímavá indicie, která definitivně nic nepotvrzuje. Stejně jako u lidí není většina vždy na straně pravdy. Modely jsou navíc trénovány podobně a tak se mohou všechny mýlit stejným způsobem.
Jazykové modely trpí řadou zkreslení, která známe od lidí, a pár dalších přidávají. To z nich nedělá špatný nástroj, stejně jako lidská omylnost nedělá špatné kolegy. Odvedou ohromné množství práce a v některých úlohách chybují méně než my. Jestli budou dobrým sluhou nebo špatným pánem, závisí na nás.
Stejně jako většina mých textů vznikl i tento v dialogu s několika jazykovými modely. Pomáhají mi s formulacemi, protiargumenty a oponováním mým závěrům. Směr, výběr argumentů i konečná podoba jsou moje. Více v úvodním textu blogu. Kniha Umělá inteligence srozumitelně – od fungování modelů po dopady na práci, školu i demokracii, včetně českého kontextu – je zdarma ke stažení pod licencí CC BY 4.0.