Ograniczenia i halucynacje: czemu nie ufać

Widziałeś, jak płynnie AI odpowiada. Czas na drugą stronę medalu: czasem równie płynnie zmyśla. Wiedza o tym to nie powód, by przestać jej używać – to warunek, by używać jej z głową.

Czym jest halucynacja

Halucynacja to pewna siebie, dopracowana, ale fałszywa odpowiedź: zmyślony cytat, link donikąd, pomylona data, wymyślony fakt. Najgorsze jest to, że brzmi dokładnie tak przekonująco jak prawda – bez wahania, bez zastrzeżeń. To wspólna cecha wszystkich trzech modeli, a nie choroba jednego z nich.

Dlaczego kłamie tak pewnie

AI nie „zna” faktów tak jak encyklopedia – przewiduje prawdopodobną kontynuację tekstu. Najczęściej to, co prawdopodobne, jest też prawdziwe, ale tam, gdzie danych było mało, model i tak tworzy płynne zdanie – tylko że teraz jest ono błędne. Nie ma wewnętrznego „nie jestem pewna”, dopóki o to nie poprosisz. Stąd zasada: pewny ton nie jest dowodem na to, że ma rację.

Granica wiedzy: dlaczego „nie wie o wczoraj”

Każdy model ma swoją granicę wiedzy – punkt, do którego „widział” tekst ze świata. Wszystko, co wydarzyło się później, nie jest mu znane i może to zmyślić. Właśnie dlatego uniwersalny model bez dostępu do wyszukiwania nie powinien odpowiadać na pytania typu „jaka jest dziś cena” albo „kto wygrał wczoraj” – to zadanie dla Gemini lub Perplexity z aktualnym wyszukiwaniem (pamiętasz tabelę „zadanie → AI”).

Gdzie wszystkie trzy zawodzą tak samo

• Dokładne liczby i daty – statystyki, stawki, lata: lubią „mniej więcej dobrze”.
• Linki i cytaty – mogą wymyślić wiarygodne źródło, które nie istnieje.
• Prawo i medycyna – brzmi autorytatywnie, ale odpowiedzialność spoczywa na tobie; to tematy dla ludzkiego specjalisty.
• Ostatnie wydarzenia – wszystko po granicy wiedzy, bez wyszukiwania.
• Złożone obliczenia w pamięci – długie obliczenia lepiej prosić krok po kroku lub wykonać w kalkulatorze.

Sprawa prawnika, który zaufał AI

Czerwiec 2023, Nowy Jork. Prawnik Steven Schwartz przygotowuje wniosek i prosi ChatGPT o znalezienie precedensów. Model generuje sześć spraw z numerami i cytatami – eleganckich i przekonujących. Schwartz umieszcza je w dokumencie sądowym. Problem: żadna z sześciu spraw nie istnieje – ChatGPT je wymyślił. Sędzia nakłada grzywnę, a historia trafia do gazet na całym świecie. Lekcja, która kosztowała tysiące dolarów i reputację: AI to szkic, nie źródło prawdy. Weryfikacja to zadanie człowieka.

Gdzie halucynacje prawie nie mają znaczenia

Ważne, by nie popadać w drugą skrajność – „jeśli kłamie, niczemu nie można ufać”. Jest ogromna strefa, gdzie zmyślanie niewiele szkodzi: szkice, pomysły, sformułowania, wyjaśnienia ogólnych koncepcji, burza mózgów. Jeśli poprosisz o dziesięć nagłówków lub przepisany akapit, nie ma „faktów” do sprawdzenia – i tak ocenisz wynik własnymi oczami. Włącz ostrożność tam, gdzie odpowiedź wykracza poza ciebie jako *fakt*: liczba w raporcie, link w artykule, argument w debacie, porada dotycząca twojego zdrowia lub prawa. Zasada jest prosta: im poważniejsze konsekwencje błędu, tym surowsza weryfikacja.

Trzy nawyki, które cię uratują

1. Proś o źródła i otwieraj je. „Podaj mi link do każdego twierdzenia” – a potem klikaj. Brak linku lub martwy link oznacza, że to hipoteza, nie fakt. Właśnie do tego stworzono Perplexity.
2. Sprawdzaj to, co ważne, z drugim modelem. To samo pytanie do dwóch AI: jeśli się zgadzają, jest bardziej prawdopodobne, że to prawda; jeśli się różnią, poszukaj sam.
3. Daj modelowi pozwolenie na powiedzenie „nie wiem”. Dodaj do prośby: „jeśli nie jesteś pewna, powiedz to, nie zmyślaj”. To znacznie ogranicza zmyślanie.

Częste mity

• „Płatna wersja nie halucynuje.” Najlepsze modele mylą się rzadziej, ale nie przestają: nadal weryfikujesz.
• „Odpowiedziała pewnie, więc tak musi być.” Pewność tonu i racja to różne rzeczy; model nie wątpi głośno, chyba że go o to poprosisz.
• „Halucynacje to błąd, który wkrótce naprawią.” Są właściwością podejścia „przewidywania kontynuacji”, a nie usterką; będą rzadsze, ale nie wyeliminują twojego nawyku sprawdzania.

Zrób to teraz

Mały test zaufania, trzy minuty. Zapytaj swoje AI o coś sprawdzalnego z twojej dziedziny, gdzie znasz poprawną odpowiedź, i poproś o źródło. Oceń: czy wszystko jest dokładne, czy link prowadzi do prawdziwej strony? Jedno takie doświadczenie skalibruje twoje zaufanie lepiej niż dziesięć ostrzeżeń – w tym to.