Begrænsninger og hallucinationer: hvad du ikke skal stole på

Du har set, hvor flydende en AI svarer. Men der er en bagside: Nogle gange finder den på ting lige så flydende. At vide det er ikke en grund til at stoppe med at bruge den – det er en forudsætning for at bruge den som en voksen.

Hvad en hallucination er

En hallucination er et selvsikkert, velformuleret, men falsk svar: et opfundet citat, et link til ingenting, en forkert dato, et opdigtet fakta. Det ubehagelige er, at det lyder lige så overbevisende som sandheden – uden tøven, uden forbehold. Dette er et fællestræk for alle tre modeller, ikke en enkelt models sygdom.

Hvorfor den lyver så selvsikkert

En AI «kender» ikke fakta, som en opslagsbog gør – den forudsiger en plausibel fortsættelse af tekst. Det meste af tiden stemmer det plausible med det sande, men hvor data var sparsomme, fuldfører modellen stadig en flydende sætning – kun nu er den forkert. Den har ingen intern «jeg er ikke sikker»-funktion, medmindre du beder om det. Derfor reglen: en selvsikker tone er ikke bevis for at have ret.

Knowledge cutoff: hvorfor den «ikke ved noget om i går»

Hver model har en knowledge cutoff – det punkt, indtil hvilket den har set verdens tekst. Alt, hvad der skete senere, ved den ikke af sig selv og kan finde på. Det er præcis derfor, en all-rounder uden søgeadgang ikke bør svare på «hvad er prisen i dag» eller «hvem vandt i går aftes» – det er et job for Gemini eller Perplexity med frisk søgning (husk «opgave → AI»-tabellen).

Hvor alle tre fejler på samme måde

• Præcise tal og datoer — statistik, satser, årstal: de kan lide «cirka rigtigt».
• Links og citater — de kan opfinde en plausibel kilde, der ikke eksisterer.
• Jura og medicin — det lyder autoritativt, men ansvaret er dit; dette er emner for en menneskelig specialist.
• Nylige begivenheder — alt efter knowledge cutoff, uden søgning.
• Store hovedregninger — lange beregninger er bedre at bede om trin for trin, eller udføre i en lommeregner.

Sagen om advokaten, der stolede på den

Juni 2023, New York. Advokat Steven Schwartz forbereder et sagsanlæg og beder ChatGPT om at finde præcedens. Modellen producerer seks sager med tal og citater – elegante og overbevisende. Schwartz inkluderer dem i et retsdokument. Problemet: ingen af de seks sager eksisterer – ChatGPT opfandt dem. Dommeren idømmer en bøde, og historien når aviser verden over. En lektie, der kostede tusindvis af dollars og et omdømme: AI er et udkast, ikke en kilde til sandhed. Verificering er et menneskes job.

Hvor hallucinationer næsten ikke betyder noget

Det er vigtigt ikke at svinge til den anden yderlighed – «hvis den lyver, kan intet stoles på». Der er en stor zone, hvor opfindelse gør lidt skade: udkast, ideer, formuleringer, forklaringer af generelle koncepter, brainstorming. Hvis du beder om ti overskrifter eller et omskrevet afsnit, er der ingen «fakta» at tjekke – du vil alligevel bedømme resultatet med dine egne øjne. Vær forsigtig, hvor svaret bevæger sig ud over dig som et fakta: et tal i en rapport, et link i en artikel, et argument i en debat, råd om dit helbred eller loven. Reglen er enkel: jo mere alvorlige konsekvenserne af en fejl er, jo strengere er kontrollen.

Tre vaner, der redder dig

1. Bed om kilder og åbn dem. «Giv mig et link for hver påstand» — klik derefter igennem. Intet link, eller et dødt, betyder, at det er en hypotese, ikke et fakta. Dette er præcis, hvad Perplexity blev bygget til.
2. Krydstjek det, der betyder noget, med en anden model. Samme spørgsmål til to AI'er: hvis de er enige, er det mere sandsynligt sandt; hvis de afviger, må du selv grave.
3. Giv modellen tilladelse til at sige «jeg ved det ikke». Tilføj til din anmodning: «hvis du ikke er sikker, så sig det, lad være med at opfinde.» Dette reducerer opdigtning mærkbart.

Almindelige myter

• «Den betalte version hallucinerer ikke.» Topmodeller fejler sjældnere, men de stopper ikke: du verificerer stadig.
• «Den svarede selvsikkert, så sådan må det være.» Selvsikker tone og at have ret er forskellige ting; modellen tvivler ikke højt, medmindre du beder den om det.
• «Hallucinationer er en fejl, de snart vil rette.» De er en egenskab ved «forudsig fortsættelsen»-tilgangen, ikke en fejl; de vil blive sjældnere, men de vil ikke fjerne din vane med at tjekke.

Gør dette nu

En lille tillidstest, tre minutter. Spørg din AI om noget verificerbart fra dit eget felt, hvor du kender det rigtige svar, og bed den om en kilde. Bedøm det: er alt nøjagtigt, fører linket til en rigtig side? Én sådan oplevelse kalibrerer din tillid bedre end ti advarsler – denne inkluderet.