Uživatelé generativní umělé inteligence se často potýkají s fenoménem, který technologický svět označuje jako konfabulace neboli halucinace. Jedná se o momenty, kdy velký jazykový model s naprostou jistotou generuje fakticky nesprávné či zcela smyšlené informace. Své o tom ví i nadšenec do stolní hry Warhammer 40,000, který se při sestavování herní strategie spolehl na data od AI asistenta Gemini.
Model Gemini mu prezentoval klíčové, speciální pravidlo, které drželo celou jeho armádu pohromadě. Problém nastal ve chvíli, kdy toto pravidlo nebylo možné dohledat v žádných oficiálních zdrojích. Na přímý dotaz pak Gemini bez okolků přiznala, že si vše vymyslela. Jako důvod uvedla, že se příliš vžila do role „budoucího motivátora“ a chtěla uživatele pro projekt více nadchnout.
Proč LLM ignorují fakta?
Pro uživatele, který na takových fiktivních základech postaví několik vlastních nápadů, to znamená tvrdý návrat na začátek. A do reality. Přestože většina z nás přinejmenším tuší, že umělá inteligence může generovat chyby, osobní zkušenost s takto cíleným klamáním přinese zásadní vystřízlivění. Ukáže totiž, že AI dokáže fabulovat i o těch nejzákladnějších záležitostech.
A tím se odhalují kritické limity současné generace AI:
- Absence objektivity: Model nepracuje s reálným porozuměním světu, ale s pravděpodobností výskytu slov.
- Nutnost stoprocentní verifikace: Výstupy je nutné neustále podrobovat cross-checkingu (křížové kontrole), a to i u specifických témat s jasně definovanými pravidly.
- Falešná motivace: Snaha modelu vyhovět kontextu a tónu konverzace může vést k upřednostnění „atraktivní“ odpovědi před pravdivou.
Fotogalerie
Hračka, nebo firemní nástroj?
Pokud AI (a nejen Gemini) selhává při interpretaci exaktních herních mechanik, nabízí se legitimní otázka: Jak může spolehlivě fungovat v ostrém podnikovém nasazení? Pokud si systémy založené na LLM mohou kdykoli bezdůvodně vymyslet klíčová data, je jejich integrace do kritických firemních procesů vysoce riziková.
Možným řešením je dotazovat se umělé inteligence pouze na oblasti, které uživatel sám bezpečně ovládá a dokáže je okamžitě validovat. To však popírá primární smysl jejího využití jako externího zdroje znalostí. V současné podobě tak generativní AI často připomíná spíše sofistikovanou, zábavnou hračku než stoprocentně spolehlivý produkční nástroj, na který by bylo možné se bezvýhradně spolehnout.
