Príbeh o presvedčivej chybe
„Pamätám si, ako som v roku 2023 pripravoval technickú dokumentáciu pre jeden starší priemyselný kontrolér. AI mi s úplnou istotou vygenerovala zapojenie pinov, ktoré vyzeralo absolútne logicky. Problém bol, že ten model kontroléra v skutočnosti nikdy neexistoval, bol to zlepenec dvoch rôznych verzií,“ spomína náš hlavný inžinier.
„— A ja mu hovorím, veď to nesedí s manuálom z deväťdesiateho šiesteho! AI však trvala na svojom a citovala neexistujúce normy. Vtedy som pochopil, že bez krížovej kontroly je práca s týmito modelmi ako chôdza po tenkom ľade uprostred jari.“
Tento jav nazývame halucinácia. Model sa snaží predpovedať nasledujúce slovo na základe pravdepodobnosti, nie na základe faktickej pravdy. Ak v tréningových dátach chýba konkrétna informácia, algoritmus si ju „domyslí“ tak, aby znela koherentne.