Проверка результата: как понять, что ИИ соврал или сделал не то

Ты научился ставить задачу. Осталось самое скучное и самое дорогое: понять, что вернулось. Потому что ИИ отдаёт результат с одинаково уверенным лицом — и когда всё верно, и когда половина выдумана.

Вспомни урок про галлюцинации: у модели нет встроенного флажка «я этого не знаю». Уверенный тон одинаков у правды и у выдумки. Добавь к этому вывод прошлого урока — модель обязана заполнить пробел — и получишь неприятную правду: правдоподобность ответа не говорит о нём вообще ничего. Гладкий текст, ровная структура, точные цифры — это форма. Форму модель делает идеально всегда.

Два разных провала, которые путают

Новичок говорит «ИИ ошибся». Профессионал сначала различает, что именно произошло, потому что чинится это по-разному:

• Провал 1: соврал. Ответ решает твою задачу, но факты в нём неверны. Цифра, цитата, ссылка, дата — выдуманы. Лечится проверкой.
• Провал 2: сделал не то. Все факты честные, но задача решена другая. Просил разбор — получил пересказ. Просил на 120 слов — получил 400. Просил не обещать скидку — обещал. Лечится обратной связью или починкой ТЗ.

Разница практическая. От вранья спасает сверка с источником, и никакая переписка с моделью тут не поможет. От «сделал не то» источник бесполезен — надо чинить формулировку. Диагноз определяет лекарство.

Что проверяется всегда: пять красных зон

Проверять всё подряд невозможно — ты потратишь больше времени, чем сэкономил. Поэтому есть короткий список того, что не выдумывается безопасно. Если этого нет в ответе — можно расслабиться. Если есть — проверяй, каждый раз:

1. Числа — суммы, проценты, сроки, статистика. Форма числа всегда идеальна, содержание может быть придумано.
2. Цитаты — «как сказал X». Модель виртуозно сочиняет убедительные цитаты, которых никто не говорил.
3. Ссылки и источники — зона риска номер один из урока про галлюцинации. Правдоподобный URL сочинить проще всего.
4. Имена и даты — особенно малоизвестных людей и локальных событий: мало данных в обучении, много достроенного.
5. Утверждения «по закону / по правилам» — тут цена ошибки максимальная, а модель говорит одинаково уверенно про действующую норму и про отменённую пять лет назад.

Эвристика на всю жизнь: проверяй то, за что тебе будет стыдно. Если этой цифрой ты будешь трясти на совещании, а этой цитатой — в посте, значит, отвечать за неё тебе, а не модели. Помнишь юриста из урока про галлюцинации, вставившего в иск шесть выдуманных прецедентов? Он не проверил ровно эти пять зон.

Пауза на подумать

Соблазнительная идея: если ИИ ошибается, пусть другой ИИ его и проверит. Подумай секунду — где тут дыра?

Дыра в том, что вторая модель проверяет тем же способом: предсказывает вероятное. Спроси у модели «всё ли тут верно?» — и она с той же уверенностью подтвердит собственную выдумку, потому что выдумка выглядит вероятной, за этим её и сгенерировали. Пять несуществующих прецедентов другая модель «подтвердит» с удовольствием.

Но полезный ход тут всё же есть, только другой. Не «проверь», а «перечисли всё, что в этом ответе нужно проверить человеку, и объясни почему». Модель неплохо составляет список рискованных мест — это задача на форму, а не на факты. Проверяешь по списку ты сам, в источнике. Списком пользоваться можно, вердиктом — нет.

Вот ответ, который ты только что дал. Не переписывай его.
Задача: составь список всего, что в нём должен проверить человек: числа, цитаты, ссылки, имена, даты, ссылки на правила.
Формат: таблица — что проверить / где это можно проверить / чем грозит ошибка.
Ограничения: не подтверждай и не опровергай факты сам, ты не источник. Только список.

Проверка на «сделал не то» — сверка по ТЗ

Второй провал ловится за 30 секунд, и инструмент у тебя уже есть — твоё же ТЗ из первого урока. Читаешь свои пять элементов и сверяешь ответ по пунктам:

• Роль — тон тот?
• Задача — сделано то, о чём просил, или пересказана тема?
• Контекст — мои детали использованы или проигнорированы?
• Формат — таблица там, где я просил таблицу? Длина та?
• Ограничения — забор не сломан? Ничего запрещённого не пролезло?

Пункт, на котором ты споткнулся, и есть точный адрес правки. Это и отличает человека с ТЗ от человека без: у первого есть с чем сверять. У второго — только ощущение «что-то не то», и починить его нечем.

Обратная связь: чини со второго раза, а не начинай заново

Что делает новичок, получив не то? Стирает всё и пишет промпт заново — теряя и хороший кусок, и контекст диалога. Что делает профи? Даёт обратную связь по формуле из трёх частей:

1. Что оставить — «первый абзац отличный, тон правильный».
2. Что не так — конкретно, а не «не нравится»: «третий пункт — общие слова, и ты обещал скидку».
3. Что сделать вместо — «замени третий пункт на пример с цифрами из моего контекста, обещание скидки убери совсем».

Сравни сам: «переделай, плохо» — модель гадает, что именно плохо, и часто ломает то, что было хорошо. А формула из трёх частей закрепляет удачное и точечно чинит проблемное. Это тот же принцип, что и в ТЗ: не оставляй пробелов, которые заполнят за тебя.

Тон и структура — то, что нужно, оставь.
Не так: во втором абзаце ты обещал сроки, которых я не называл, а последний абзац - общие слова без единой детали.
Сделай: убери любые сроки. Последний абзац перепиши, используя только детали из моего контекста. Остальное не трогай.

Правило трёх итераций

Когда всё-таки начинать заново? Есть простой порог: три итерации. Если после трёх правок ответ всё ещё не тот, проблема не в ответе, а в ТЗ — и ты чинишь не то. Возвращайся к пяти элементам и ищи, какого куска не хватало с самого начала. Обычно это контекст: ты держал что-то в голове и не написал.

Признак, что ты попал в эту ловушку: правишь в четвёртый раз одно и то же место. Модель не тупая — она честно выполняет ТЗ, в котором дырка.

Частое заблуждение: «проверять дольше, чем сделать самому»

Так бывает — и это важный честный сигнал, а не повод бросить ИИ. Если проверка ответа дороже, чем работа руками, ты выбрал не ту задачу. ИИ выгоден там, где проверить легко, а сделать долго: сократить твой текст (проверка — прочитать), разобрать твой документ с дословными цитатами (проверка — найти цитату глазами), дать 12 идей (проверка — выбрать). И невыгоден там, где наоборот: собрать статистику по рынку с источниками — делается за секунду, а проверяется полдня.

Это, кстати, лучший фильтр задач для ИИ из всех, что есть. Прежде чем поручать — спроси себя: как я проверю результат? Нет быстрого ответа — не поручай.

Сделай сейчас

Возьми любой ответ, который ИИ дал тебе за этот курс, и пройди по пяти красным зонам: есть числа? цитаты? ссылки? имена? утверждения про правила? Найди хотя бы одно место, за которое тебе было бы стыдно, если бы оно оказалось выдумкой. Проверь его в источнике. Эта привычка — то, что отличает профессионала от героя новостей.