Neurocourse

Límites y alucinaciones: en qué no confiar

Los tres modelos mienten con seguridad (alucinación). Por qué pasa, dónde fallan igual (fechas, números, enlaces, leyes, medicina) y 3 trucos para verificar respuestas.

Ya has visto lo bien que responde una IA. Ahora, la otra cara: a veces se inventa cosas con la misma fluidez. Saberlo no es motivo para dejar de usarla, sino la condición para usarla con madurez.

Qué es una alucinación

Una alucinación es una respuesta segura, pulcra, pero falsa: una cita inventada, un enlace que no lleva a nada, una fecha errónea, un hecho inventado. Lo malo es que suena tan convincente como la verdad: sin dudas ni advertencias. Es una característica común a los tres modelos, no una enfermedad de uno solo.

Por qué miente con tanta seguridad

Una IA no «sabe» hechos como un libro de consulta, sino que predice una continuación plausible del texto. La mayoría de las veces, lo plausible coincide con lo verdadero, pero cuando los datos escasean, el modelo sigue completando una frase fluida, solo que ahora es incorrecta. No tiene un «no estoy segura» interno hasta que se lo pides. De ahí la regla: un tono seguro no es prueba de que tenga razón.

El corte de conocimiento: por qué «no sabe lo de ayer»

Cada modelo tiene un corte de conocimiento (knowledge cutoff): el punto hasta el cual ha visto el texto del mundo. Cualquier cosa que haya ocurrido después no la sabe por sí mismo y puede inventarla. Por eso, un modelo generalista sin acceso a búsqueda no debería responder a «cuál es el precio hoy» o «quién ganó anoche»; ese es un trabajo para Gemini o Perplexity con búsqueda actualizada (recuerda la tabla «tarea → IA»).

Dónde fallan los tres de la misma manera

  • Números y fechas exactos: estadísticas, tasas, años. Prefieren «más o menos bien».
  • Enlaces y citas: pueden inventar una fuente plausible que no existe.
  • Derecho y medicina: suena autoritario, pero la responsabilidad es tuya; estos son temas para un especialista humano.
  • Eventos recientes: todo lo posterior al corte de conocimiento, sin búsqueda.
  • Cálculo mental complejo: es mejor pedir los cálculos largos paso a paso, o hacerlos con una calculadora.

El caso del abogado que se fió

Junio de 2023, Nueva York. El abogado Steven Schwartz prepara un escrito y pide a ChatGPT que encuentre precedentes. El modelo produce seis casos con números y citas: elegantes y convincentes. Schwartz los incluye en un documento judicial. El problema: ninguno de los seis casos existe; ChatGPT los inventó. El juez impone una multa y la historia aparece en periódicos de todo el mundo. Una lección que costó miles de dólares y una reputación: la IA es un borrador, no una fuente de verdad. Verificar es trabajo de un humano.

Una pregunta para ver si me sigues: si el modelo te da con seguridad un enlace a un artículo y una cita exacta, ¿puedes incluirlos directamente en tu texto? Piensa antes de seguir leyendo.

No: los enlaces y las citas son las cosas más alucinadas de todas. Abre la fuente y confirma que existe y dice lo que se afirma, o toma la respuesta de Perplexity, donde el enlace lleva a una página real.

Dónde las alucinaciones apenas importan

Es importante no irse al otro extremo: «si miente, no se puede confiar en nada». Hay una gran zona donde la invención apenas causa daño: borradores, ideas, formulaciones, explicaciones de conceptos generales, lluvia de ideas. Si pides diez titulares o un párrafo reescrito, no hay «hechos» que verificar; de todos modos, juzgarás el resultado con tus propios ojos.

Activa la precaución cuando la respuesta vaya más allá de ti como un hecho: un número en un informe, un enlace en un artículo, un argumento en un debate, un consejo sobre tu salud o la ley. La regla es simple: cuanto más graves sean las consecuencias de un error, más estricta será la verificación.

Tres hábitos que te salvarán

  1. Pide las fuentes y ábrelas. «Dame un enlace para cada afirmación» y luego haz clic. Sin enlace, o si está roto, significa que es una hipótesis, no un hecho. Para esto se creó Perplexity.
  2. Contrasta lo importante con un segundo modelo. Haz la misma pregunta a dos IA: si coinciden, es más probable que sea cierto; si divergen, investiga tú.
  3. Dale permiso al modelo para decir «no lo sé». Añade a tu petición: «si no estás segura, dímelo, no inventes». Esto reduce notablemente las invenciones.

Mitos comunes

  • «La versión de pago no alucina.» Los modelos top se equivocan con menos frecuencia, pero no dejan de hacerlo: sigues teniendo que verificar.
  • «Respondió con seguridad, así que debe ser así.» La seguridad en el tono y tener razón son cosas distintas; el modelo no duda en voz alta a menos que se lo pidas.
  • «Las alucinaciones son un error que arreglarán pronto.» Son una propiedad del enfoque de «predecir la continuación», no un fallo; serán más raras, pero no eliminarán tu hábito de verificar.

Haz esto ahora

Una pequeña prueba de confianza, tres minutos. Pregunta a tu IA algo verificable de tu propio campo donde sepas la respuesta correcta, y pídele una fuente. Júzgala: ¿es todo preciso, el enlace lleva a una página real? Una experiencia así calibra tu confianza mejor que diez advertencias, incluida esta.

Practice · 6 задач

Short questions on the lesson — with an explanation for every answer.