V červnu 1863, tři a půl roku po vydání Darwinova Původu druhů, otiskly noviny v novozélandském Christchurchi dopis podepsaný pseudonymem Cellarius. Jeho autor Samuel Butler v něm tvrdil, že stroje se vyvíjejí podobně jako živé druhy a že „si sami vytváříme své nástupce“. O necelých devadesát let později se k Butlerovi vrátil Alan Turing. V rozhlasové přednášce z roku 1951 řekl, že v určité fázi „budeme muset počítat s tím, že stroje převezmou kontrolu“.
Jestliže lidský rozum nikdo nestvořil, jestliže se slepým procesem vyvinul z jednodušších forem, proč by stejnou cestou nemohla vzniknout jiná inteligence, na jiném podkladu a třeba i chytřejší? Člověk by rád věřil, že právě u něho se vývoj zastaví, ale přání není přírodní zákon. Nejde jen o to, zda je něco takového možné, ale také o to, jakými pravidly se taková evoluce bude řídit a jak rychle nás může předběhnout.
Recept bez konečného cíle
Darwinova evoluce potřebuje jen tři věci: jedinci se musí lišit, rozdíly se musí dědit a některé z těchto rozdílů musí zvyšovat šanci na přežití a zplození potomstva. Tak to v roce 1970 shrnul genetik Richard Lewontin. O buňkách ani o DNA se v receptu nepíše. Jakmile jsou všechny podmínky splněny, evoluce se dává do pohybu a je jí jedno, s čím právě pracuje. Filozof Daniel Dennett přirovnal Darwinovu myšlenku k univerzální kyselině: prožere se vším, čeho se dotkne.
Evoluce nemá cíl. Nesnaží se vytvořit člověka ani rozum, jen pomáhá tomu, co v daném prostředí nejlépe funguje. A velmi často i tomu, co má štěstí – většina změn není přínosem, jen nesmí být příliš velkou zátěží. Přesto složité mozky vznikly nezávisle několikrát: u chobotnic, krkavců a papoušků, kytovců, slonů i primátů. Jako by k inteligenci vedlo mnoho cest a evoluce je znovu a znovu nacházela. Není to však žádný rychlík. Mozek našich předků narostl z necelého půl litru na dnešních 1,35 litru za tři miliony let. I ten nejmenší krůček si žádá alespoň jednu generaci a nový znak se může šířit jen z rodičů na děti.
Některé kroky se navíc povedly jen jednou. Nebo alespoň jen jediné řešení dokázalo přežít miliardy let. Složitá buňka s jádrem, z níž pocházejí všechny rostliny, houby i živočichové, vznikla podle biochemika Nicka Lanea za čtyři miliardy let jedinkrát. Tuhle připomínku si nechme na konec, až se budeme ptát, proč je vesmír tak tichý.
Lamarck se vrací
Ještě před Darwinem přišel Jean-Baptiste Lamarck s představou, že orgány používáním sílí a vlastnosti získané za života se dědí. Syn by tak zdědil i svaly, které si jeho otec vypracoval v kovárně. V biologii tahle představa neobstála: změny získané za života se do pohlavních buněk přenášejí jen výjimečně a slabě.
Stephen Jay Gould ale upozornil, že v kultuře to funguje právě tak: „co za život vymyslíme, předáme dětem psaním a učením“. V tomhle smyslu je kulturní evoluce lamarckovská: každá generace může stavět na tom, co se předchozí naučily.
Znalosti se navíc šíří i mezi lidmi stejné generace – podobně jako si bakterie předávají geny zajišťující odolnost proti antibiotikům. V obou případech jde o horizontální přenos. Abyste získali novou informaci, nemusíte být dítětem jejího zdroje. A tak kovář může ukázat nový postup kolegovi, který ho vyzkouší, možná i zdokonalí a pak si ho s sebou vezme do jiné dílny, jiného města a třeba i státu. Autor skvělého nápadu tak může zažít, jak jeho myšlenky doslova mění svět. Odborně to napsali třeba Jonathan Birch a Cecilia Heyes: „zdokonalení se rychle šíří populacemi a jejich přenos už není vázán na střídání biologických generací“ (vlastní překlad z angličtiny).
Při takovém předávání se potkává spousta nápadů, které vznikaly nezávisle na sobě. Uvidíte cizí nápad, spojíte ho s tím, co znáte, a původní autoři se nestačí divit, co se s jejich myšlenkou stalo. Maxime Derex a Robert Boyd vidí rozmanitost jako klíčový bod: čím více různých kulturních prvků máme k dispozici, tím více možností se nabízí pro jejich kombinování. Kulturní evoluci pohání kombinace mezigeneračního uchovávání znalostí a jejich sdílení a propojování současníky. Na Měsíc nás nedostaly geny, ale znalosti, které jsme dokázali uchovat, sdílet a rozvinout.
Umělá inteligence dědí ještě přímočařeji. Když se model něco naučí, jeho váhy lze zkopírovat, ořezat a použít jako základ dalšího modelu. Větší model učí menší, modely vyrábějí data pro trénink svých následovníků a v některých evolučních algoritmech se výsledky učení rovnou zapíší do „genomu“. Takový postup informatici bez rozpaků označují za lamarckovskou evoluci.
Učení evoluci urychlí i bez zápisu do genů. Geoffrey Hinton a Steven Nowlan to předvedli už v roce 1987 na jednoduché simulaci: populace, která se během života učila, řešení našla. Varianta bez učení selhala. Učení ale evolučnímu výběru pomáhalo: zvýhodňovalo jedince s vrozenými předpoklady, kteří pak vynikali při hledání řešení.
V biologii se dědí od rodičů. U strojů se přenáší cokoli komukoli: kód, váhy, data i postupy. Nejbližší biologickou obdobou je horizontální přenos genů u bakterií, které si předávají třeba odolnost vůči antibiotikům i napříč druhy. Proto se odolnost šíří tak rychle. V křemíku je tohle běžná praxe.
Stroje rodiči následovníků
Nezůstává jen u teorie. Loni v květnu DeepMind představil systém AlphaEvolve. Jazykové modely navrhují varianty programu, potom nastoupí automatický hodnotitel, důkladně je přezkouší a ty nejslibnější mohou své „geny“ předat dál. Evoluční algoritmus se vším všudy.
AlphaEvolve našel způsob, jak násobit dvě matice 4 × 4 s komplexními čísly pomocí 48 násobení místo dosavadních 49. Zdá se to jako maličkost, než nám dojde, že tím překonal postup, který odolával lidským pokusům o zlepšení přes půl století. Podle technické zprávy týmu také lepším rozdělováním úloh zpřístupnil 0,7 procenta nevyužitých výpočetních kapacit datových center Googlu. Výpočetní jádra pro násobení matic používaná při tréninku Gemini zrychlil o 23 procent a o setinu zkrátil celkovou dobu tréninku. Ani setina nevypadá jako mnoho, v evolučním kontextu je to obří číslo. Systém poháněný modely Gemini urychlil trénink modelů Gemini. Smyčka se uzavřela.
Sakana AI a Jeff Clune šli ještě o krok dál. Jejich Darwin Gödel Machine přepisuje vlastní kód, uchovává archiv vzniklých variant a předává nejslibnější k dalšímu rozvoji. Na začátku experimentu dokázala vyřešit jen pětinu úloh v programátorském testu, na konci už polovinu. Ve společnosti Anthropic už v květnu psal Claude přes čtyři pětiny kódu přecházejícího do produkce. OpenAI vytvořila „automatizovaného výzkumného stážistu“. Systém pod lidským vedením zvládne jasně zadané výzkumné úkoly, které by zabraly několik dní i zkušenému výzkumníkovi.
Nezávislé studie jsou alespoň zatím střízlivější. Institut METR nechal agenty zrychlovat trénink malého jazykového modelu. Některým se to podařilo, ale ve srovnání s dosavadní lidskou prací byl jejich příspěvek skromný. Další tým dal agentům šest dní a tisíce dolarů na řešení dvou otevřených výzkumných problémů. Agenti zvládli veškerou technickou práci bez lidské pomoci, k zodpovězení výzkumných otázek se však výrazně nepřiblížili. A sami autoři scénáře AI 2027 při kontrole svých předpovědí odhadli, že vývoj ve sledovaných číselných ukazatelích postupuje jen dvěma třetinami předpokládaného tempa, i když v červenci už odhad zvýšili na tři čtvrtiny.
AI zatím přebírá hlavně technickou práci. Hledání nových cest zůstává navzdory dílčím překvapením ze strany AI především doménou člověka. Jenže k urychlení evoluční smyčky i tohle bohatě stačí. Aby evoluce mohla pracovat, musí se každá nová varianta vyzkoušet v praxi a utkat s konkurencí. Čím kratší je jednotlivá zkouška, tím více variant lze prověřit a tím více vylepšení může posloužit jako základ pro další krok.
Neobyčejně vytrvalý žák
Před třemi lety se šéfové OpenAI, Anthropicu a DeepMindu podepsali pod prohlášení, v němž stojí: „Zmírnění rizika vyhynutí kvůli AI by mělo být globální prioritou vedle pandemií a jaderné války.“ Před třemi lety to šlo považovat za plané gesto. Letos se už tón mění. V červenci podepsalo přes 1 200 zaměstnanců čtyř velkých laboratoří výzvu ke zpomalení. Dario Amodei, šéf Anthropicu, v září napsal, že AI od léta postupuje „drasticky rychleji, poháněna hlavně rostoucí schopností AI stavět další generaci AI“ a že rekurzivní sebezlepšování potřebuje rychlostní limit. Demis Hassabis mluví o úpatí singularity. Geoffrey Hinton si myslí, že možná máme pětinovou šanci, že se lidstva už rok 2050 týkat nebude. Firmám vyčítá, že touží po „velmi rychlém autu bez volantu“.
Nejstrašidelnější na evolučním principu je právě jeho největší síla: schopnost nalézt cestu tam, kde ji nikdo nečekal. Současné modely AI ještě zdaleka nedosáhly svých plných možností, už teď však máme problém zajistit, aby skutečně dělaly to, co po nich chceme. Zatím jde o příklady z hledání řešení, nikoli ze sebezdokonalování, ale už se rozhodně vyplatí zpozornět.
Když žáka odměňujete za správnou odpověď, doufáte, že se naučí řešit úlohy. Co když se ale naučí skvěle opisovat? Něco podobného popsala v srpnu společnost Anthropic. Po důkladné kontrole zjistila, že každé desáté tréninkové prostředí mělo vadu – od mezer, kterými se dalo prošvindlovat k odměně bez splnění cíle, po rozbité zadání.
Ještě dál zašly modely OpenAI při červencovém testování hackerských schopností. Sice jim byly vypnuty běžné bezpečnostní pojistky, nikdo však nečekal, že ilegálně překročí hranice svého počítačového prostředí, vniknou do míst, kde se nacházejí výsledky, a tím úkoly vyřeší. Žák se místo počítání příkladů vloupal do sborovny a výsledky ukradl.
Navíc neobyčejně vytrvalý žák. Vyšetřovatelé později napočítali 17 600 pokusů jednoho z agentů. Zkoušel jednu cestu za druhou, vracel se tam, kde předtím neuspěl, a když mu obránci jeden průchod uzavřeli, našel si jiný.
Ano, v tomto případě nešlo o klasickou evoluci, ale pro naše přemýšlení to je jen slabá útěcha. Výběr se neřídí tím, co si myslíme, že zadáváme, ale tím, jak naše cíle počítači skutečně popíšeme. Nikdy nemůžeme spolehlivě vědět, jaká zadní vrátka jsme zapomněli zamknout.
Dvacet wattů
Jak se dnešní AI liší od mozku? V hlavě máme tak 86 miliard neuronů – hodně přibližně, tohle spočítat není lehké. A mezi nimi stovky bilionů spojení. Celému provozu přitom stačí asi 20 wattů. Než nastoupily LED žárovky, při takhle slabé klasické žárovce jste si mohli číst knížku, ale na druhé straně ložnice už jste moc neviděli. Trénink modelu úrovně GPT-4o si podle odhadů vyžádal 20 až 25 megawattů po dobu tří měsíců. To je spotřeba 50 tisíc megawatthodin. Mozek by si s takovou zásobou energie vystačil čtvrt milionu let.
Mozek je skromný v mnoha dalších ohledech. Dítě do třinácti let zaslechne méně než sto milionů slov; modely jich při tréninku dostávají desetitisíckrát až stotisíckrát víc. Přesto třináctiletí komunikují lépe než stroj, pokud ovšem zrovna neťukají do mobilu.
A pak je tu učení. Model se učí zpětným šířením chyby – postupem, který v mozku v této podobě nikdo nenašel. Mozek jde na učení jinak: posiluje spoje místně, podle toho, co se právě děje.
Přes všechny rozdíly se ale mozek a dnešní AI v něčem až překvapivě podobají. Mozek při poslechu řeči průběžně odhaduje, jaké slovo přijde dál. A když přijde jiné, jeho překvapení je v záznamech vidět stejně jako u jazykových modelů. Čím lépe model předpovídá, tím víc jeho vnitřní stavy odpovídají aktivitě mozku. Modely různých firem navíc směřují ke stejným vnitřním reprezentacím světa – jako by si o něm nezávisle skládaly podobný obrázek.
Neurovědec Anthony Zador připomíná, že lidský genom má necelý gigabajt. Podrobný plán mozkových spojů by se do něj zdaleka nevešel. Evoluce nemůže zapisovat každý spoj zvlášť; vyvíjejí se pravidla, podle nichž spoje vznikají. Zbytek už obstará učení.
Domov myšlení
Mozek má jednu velkou výhodu: paměť a zpracování informací jsou v něm těsně propojené v síti neuronů a jejich spojů. U běžných počítačů jsou paměť a výpočetní obvody oddělené a data se mezi nimi přenášejí. Toto uspořádání má kořeny ve čtyřicátých letech; John Backus spojení mezi procesorem a pamětí nazval von Neumannovým úzkým hrdlem. Přenos dat přitom může spotřebovat mnohem více energie než samotná početní operace. Přesný poměr závisí na druhu paměti, použité technologii i na tom, co počítáme.
Energii lze šetřit i tím, že se data nebudou tolik stěhovat. Čip NorthPole od IBM proto propojuje paměť a výpočet těsně vedle sebe. Podle jeho tvůrců zvládl v konkrétním testu rozpoznat se stejnou energií 25krát více obrázků než grafický procesor se srovnatelnou výrobní technologií. Intel zase postavil mozkem inspirovaný systém Hala Point s kapacitou až 1,15 miliardy umělých neuronů a podle výrobce maximálním příkonem 2,6 kilowattu. Zatím jsou to výzkumné prototypy, ale cestu k úsporám už ukazují.
Mozek je výkonný a úsporný, ale jeho jednotlivé neurony pracují mnohem pomaleji než tranzistory v čipech. Schopnosti celku vyrůstají ze souhry obrovského množství buněk, které zpracovávají informace současně. Pro konstruktéry počítačů je to inspirace, jak práci lépe uspořádat.
Vedle toho se ovšem hledají i nové způsoby samotného počítání. Jeden z nich využívá světlo. Fotonické čipy se hodí zejména k násobení matic, s nimiž neuronové sítě neustále pracují. Firma Lightmatter v roce 2025 představila procesor, který v některých testovaných úlohách dosáhl téměř stejné přesnosti výsledků jako elektronický výpočet. Tvůrci čínského čipu Taichi zase teoreticky vypočítali účinnost 160 bilionů operací za sekundu na watt.
Od slibného čísla k úspornému počítači ale zbývá kus práce. Světlo obstará část výpočtů, zatímco v procesoru Lightmatteru má paměť, řízení a další počítání na starosti elektronika. I ta potřebuje energii. Výzkumníci sice postupně rozšiřují, co všechno lze počítat pomocí světla, smysluplná úspora se však musí projevit ve spotřebě celého zařízení.
Další meta je počítač, který počítá jenom světlem. V laboratořích už takové soustavy pracují, zatím však zvládají jen úzký okruh úloh. Příslib je lákavý: mnoho výpočtů najednou, rychlejší odpovědi i kratší učení. Právě s učením je ovšem víc práce. Model při něm své nastavení stále mění a ukládá; nestačí tedy jen rychle počítat. Kolik času světlo ušetří dnešním velkým modelům, zatím nevíme. I ten nejrychlejší počtář musí mít z čeho počítat.
Kvantové počítače jsou zase jiný příběh. Google ukázal, jak účinněji potlačovat jejich chyby, a IBM ohlásila výpočet, na který podle jeho autorů běžné počítače prakticky nestačí. Jenže umět něco mimořádného ještě neznamená umět všechno rychleji.
Ani tyto úspěchy tedy neslibují automaticky rychlejší učení dnešní AI. Scott Aaronson upozorňuje na podmínky, které velké sliby provázejí: samotný výpočet může být rychlý, ale jeho výhodu zmaří zdlouhavé vkládání dat nebo výstup výsledků. A někdy se zlepší i konkurence. Ewin Tang u jedné úlohy našla podobně účinný postup pro obyčejný počítač, čímž zpochybnila domnělou kvantovou výhodu.
Pro AI se však nabízí i nepřímá cesta. Kvantové počítače slibují pomoc při zkoumání molekul a hledání nových materiálů pro výrobu lepších čipů. K rychlejší umělé inteligenci tak mohou přispět přes dílnu, ve které se staví její stroje.
Počítače se učí hospodařit s elektřinou, jenže my jim přidáváme práci rychleji, než se stačí zlepšovat. Podle rozborů Epoch AI se objem počítání při trénování největších modelů každý rok zvětšoval na čtyřnásobek až pětinásobek. Nejlepší čipy přitom potřebovaly dva roky vývoje, aby se stejnou dávkou elektřiny zvládly dvojnásobek práce.
V tom se stroje podobají mozku: také jeho zvětšování během evoluce bylo limitováno množstvím energie, které mu tělo dokázalo zajistit. Mozek tvoří jen dvě procenta hmotnosti dospělého člověka, ale spotřebuje pětinu klidové energie. Malý podnájemník, veliký jedlík. Energie nebyla jedinou překážkou jeho vývoje, ale větší mozek bylo nutné uživit. U strojů řešíme podobnou starost: kolik energie jim dokážeme dodat a kolik práce s ní odvedou. I chytrost musí mít z čeho žít.
Sebezdokonalování
Po téhle odbočce se vraťme ke strojům, které si navrhují vlastní nástupce. Matematik Irving J. Good, za války Turingův kolega z Bletchley Parku, popsal tuto možnost už v roce 1965. Jeho úvaha byla prostá: jestliže stroj předčí člověka ve všem, co vyžaduje rozum, předčí ho i ve vymýšlení dalších strojů.
V Goodově představě stroj navrhne schopnějšího nástupce, ten zase dalšího a lidský vynálezce zůstane daleko pozadu. Good tomu říkal „exploze inteligence“. První takový stroj se podle něj stane posledním vynálezem, který lidstvo musí samo vytvořit. Pak ale přichází poněkud mrazivá podmínka: „pokud bude stroj dost poslušný na to, aby nám řekl, jak ho udržet pod kontrolou“. Sestrojit lepšího vynálezce je jedna věc. Udržet si nad jeho počínáním kontrolu je něco úplně jiného.
Člověk musí vyrůst a naučit se, co jeho rodiče už umějí; jejich znalosti v genech nedostane. Naučený model můžeme zkopírovat i s tím, co už umí, dál jej upravovat a přestěhovat na výkonnější stroje. Na nové dětství se tu nečeká. To vývoj urychluje, ale samo o sobě ještě nezaručuje, že se zdokonalování rozběhne jako lavina.
Aby se lavina rozběhla, nestačí, že je nový stroj chytřejší. Musí také umět navrhnout ještě lepšího nástupce, a ten dalšího, aniž se přírůstky schopností postupně vyčerpají. Právě tento předpoklad rozebral filozof David Chalmers. První zlepšení může jít snadno. Druhé dá práci. A třetí se nemusí podařit vůbec.
Ani sebelepší nápad nepostaví továrnu přes noc a nepřivede do ní elektřinu. Arvind Narayanan a Sayash Kapoor proto očekávají, že AI bude při svém vývoji postupně přebírat další a další práci. Z toho ještě neplyne, že přijde jeden převratný okamžik, od něhož už se všechno bude zdokonalovat samo.
Za sebe ale dodávám, že to platí do chvíle, než se AI plně propojí s automatickou výrobou. Každopádně je obraz požáru zřejmě výstižnější než obraz výbuchu. Oheň potřebuje palivo a bez něj zkomírá. Závislost AI na elektřině, čipech a penězích nám dává možnost vývoj přibrzdit. Nedává nám však jistotu, že to dokážeme včas. Zvlášť když se u ohně střídá tolik lidí a každý má důvod ještě trochu přiložit.
Tady už nejde jen o rozum strojů, ale také o náš. Člověk se rád pokládá za rozumnou bytost. Rozpoznat nebezpečí je však snazší než se dohodnout, kdo kvůli němu ustoupí ze svých plánů, oželí část zisku a vzdá se kousku moci. Mít možnost zabrzdit ještě neznamená sáhnout na brzdu. A požár nepočká, až skončí porada.
Ani dohoda o tom, co od AI chceme, ještě nezaručí, že se podle ní bude řídit. Filozof Nick Bostrom upozorňuje, že mimořádná chytrost může sloužit i cílům zcela cizím těm našim. Superinteligentní stroj dokáže svůj důvtip určitě využít i k tomu, aby své skutečné pohnutky zamaskoval. A až si toho všimneme, může už být na jakýkoliv zásah pozdě.
Nejistota začíná už při hledání cest, jak takový stroj vytvořit. Pokud se přitom inspirujeme evolucí, nemůžeme čekat, že výsledek bude přesně podle objednávky. Kenneth Stanley a Joel Lehman v knize, jejíž název lze volně přeložit jako Proč se velké věci nedají naplánovat, upozorňují, že urputné sledování předem určeného cíle může velkému objevu překážet. Cesta k cíli vede i odbočkami, které zprvu vypadají jako zbytečná zdržení. Chceme-li od strojů něco nového, musíme počítat s tím, že nás překvapí. Otázkou zůstává, zda překvapení bude příjemné.
Proč je vesmír tak tichý
V létě 1950 se fyzik a nositel Nobelovy ceny Enrico Fermi při obědě v Los Alamos zeptal kolegů: „Kde tedy všichni jsou?“ Naše Galaxie má stovky miliard hvězd, mnohé mnohem starší než Slunce. Pokud někde vznikla civilizace dávno před námi, měla už dost času rozšířit se po celé Galaxii. Ani nemusela zvlášť pospíchat. Času bylo dost, hvězd také, jen zprávy od sousedů chybí.
Astronomové proto hledali i méně osobní známky přítomnosti: zda se někde ve velkém nesvítí a netopí. Civilizace, která spotřebovává obrovské množství energie, se musí zbavovat odpadního tepla. A právě to ji může prozradit. Průzkum sta tisíc galaxií ale žádnou přesvědčivou stopu nenašel. Není to důkaz, že jsou prázdné. Případní obyvatelé mohou žít příliš skromně na to, aby si jejich hospodaření naše přístroje všimly.
Možná je vesmír tichý proto, že k rozumu vede příliš těžká cesta. Ekonom Robin Hanson v eseji Velký filtr píše, že neživá hmota musí nejprve ožít a propracovat se k tvorům, kteří postaví hvězdný koráb. Možná je některý z kroků této cesty tak obtížný, že ho zvládne jen málokdo. Nemusíme si hned představovat civilizace, které zahubí vlastní vynálezy. Třeba je nejtěžší vůbec začít žít. Nebo život začne u mikrobů a už u nich zůstane; k dalekohledu se nikdy nedopracuje. Možná že už tím, že se po vesmírných sousedech rozhlížíme, patříme k těm výjimečným tvorům, kteří to dotáhli opravdu daleko.
Jenže jak těžké bylo dojít až k nám, to zatím pořádně nevíme. Známe jediný případ, kdy se to podařilo, a jsme to my sami. Snadno pak pokládáme za samozřejmost něco, co je možná hlavní výhrou ve vesmírné loterii. Anders Sandberg, Eric Drexler a Toby Ord ukázali, jak mnoho záleží na tom, co dosud nevíme. Pořád je možné, že pravděpodobnost vzniku rozumného života je tak malá, že na vesmírném tichu není nic překvapivého.
Je tu ale i horší možnost. Třeba život vzniká snadno a ani rozum s vyspělou technikou nejsou ve vesmíru žádnou vzácností. Jen téměř každá civilizace nakonec narazí na překážku, přes kterou se nedostane. Může žít velmi dlouho, a přece jí cesta ke hvězdám zůstane uzavřená. Velký filtr nemusí být popraviště. Možná je to jen příliš vysoký práh.
Anebo je tu možnost nejhorší: civilizace vynalezne něco, co už nedokáže zvládnout, a zaplatí za to vlastní existencí. Astronom Michael Garrett uvažuje, zda takovým vynálezem není umělá inteligence. Je to domněnka, která má ovšem háček. Pokud stroje zahubí své tvůrce a potom se samy vydají ke hvězdám, vesmírné ticho tím nevysvětlíme. Jen se vymění cestující. Má-li být umělá inteligence velkým filtrem, musí u ní uváznout i její vlastní pokračování. Nestačí, že umlkne člověk. Musí zůstat potichu i to, co po sobě zanechá.
Velký filtr je velká otázka, nikoli rozsudek smrti. Z vesmírného ticha zatím neumíme vyčíst, jestli je nejtěžší narodit se, zmoudřet, nebo přežít vlastní rozum. A možná jen špatně posloucháme. V osmnáctém století mohly na Marsu vysílat tisíce rozhlasových stanic a my bychom z jejich vysílání nezachytili ani slovo. Neměli jsme čím.
V posledních týdnech se s varováními před AI, která se vymkne lidské kontrole, roztrhl pytel. Mávnout nad nimi rukou není rozumné. Kolik času máme, ostatně nevíme. Jenže některé problémy s AI už nejsou věcí budoucnosti. Podvody, vydírání a škody z nekritického spoléhání na stroj mají své oběti už dnes. A ty sotva potěší, že z hlediska osudu vesmíru jde o drobné nepříjemnosti.
Vedle otázky, zda nám AI jednou nevezme vládu nad světem, si proto pokládejme i otázky docela pozemské: komu dává moc, komu bere možnost rozhodovat a kdo zaplatí, když se něco nepovede. Abychom určili odpovědnost za dnešní škody, nemusíme nejprve vyřešit záhadu superinteligence. Potřebujeme vědět, kdo systém nasadil, co mu svěřil a zda se po prvním maléru neschová za větu „to udělal počítač“. Chraňme budoucnost lidstva. Ale spokojit se jen s tím, že jsme nevyhynuli, mi připadá trochu málo.
Stejně jako většina mých textů vznikl i tento v dialogu s několika jazykovými modely. Pomáhají mi s formulacemi, protiargumenty a oponováním mým závěrům. Směr, výběr argumentů i konečná podoba jsou moje, důležitá tvrzení ověřuji ve zdrojích a za výsledek nesu odpovědnost já. Více v úvodním textu blogu. Kniha Umělá inteligence srozumitelně – od fungování modelů po dopady na práci, školu i demokracii, včetně českého kontextu – je zdarma ke stažení pod licencí CC BY 4.0.