Почему нейросеть врёт — и как это поймать промптом

Продолжаю начатую серию.

Модель уверенно называет несуществующую книгу, придумывает статью закона или дату —

знакомо?
 Это не поломка — это свойство того, как устроены языковые модели. Хорошая новость: риск можно заметно снизить, и делается это в промпте.

Почему это происходит

Языковая модель не «знает» факты в привычном смысле — она предсказывает правдоподобное продолжение текста. На популярных темах правдоподобное обычно совпадает с верным. Но на узких фактах и нишевых вопросах модель выдаёт то, что выглядит правильно, — и звучит при этом ровно так же уверенно, как когда она права. 

Именно эта одинаковая уверенность и опасна: по тону вы не отличите факт от выдумки.

Приёмы, которые снижают риск

• Просите источники. Это не только удобно для проверки — сам механизм снижает выдумку. Как формулирует Microsoft:

«Asking for citations makes it so that the model must make two errors every time it generates a response: the first error is the fabricated response, and the second is the bad citation.»

«Запрос ссылок приводит к тому, что модель должна совершать две ошибки каждый раз, когда генерирует ответ: первая ошибка — это сфабрикованный ответ, а вторая — неверное цитирование.» (спасибо Яндексу за машинный перевод)

Чтобы соврать со ссылкой, модели нужно ошибиться дважды — а это менее вероятно. Причём ссылку лучше просить рядом с утверждением, а не общим списком в конце.

• Включайте веб-поиск для фактов. Когда ответ опирается на актуальные найденные данные, а не на память модели, почвы для выдумки меньше. Для всего, что зависит от свежих или точных фактов — это первый приём.
• Просите уровень уверенности и разрешайте «не знаю». Добавьте в промпт явное разрешение: «если не уверен — так и скажи». Модели по умолчанию склонны дать хоть какой-то ответ; явное «не знаю» как допустимый исход снижает давление на выдумывание.

Чего делать НЕ стоит

Популярный совет — «попроси модель перепроверить свой ответ» — работает хуже, чем кажется. Исследование Huang et al. (2023) показало: без внешней обратной связи модель себя не исправляет, а иногда после «самопроверки» отвечает даже хуже:

«LLMs struggle to self-correct their responses without external feedback, and at times, their performance even degrades after self-correction.»

«Языковым моделям трудно самостоятельно корректировать свои ответы без внешней обратной связи, и иногда их производительность даже снижается после самокоррекции.»

Смысл: реальную проверку даёт что-то внешнее — поиск, источник, тест, человек. Самопроверка «из головы» надёжной гарантией не является.

Почему это в основе PromptingHub

Уверенная неправда — ровно причина, по которой мы вообще занимаемся верификацией. По тону вы не поймете что модель вам врёт, вы просто этого не увидите, настолько это будет правдоподно. Поэтому в нашей библиотеке финальное решение всегда за человеком (принцип human-in-the-loop) который является экспертом с доказанным опытом. Мы не полагаемся на то, что ИИ «сам себя проверит», — именно потому, что это, как показывают исследования, не работает.

Что забрать с собой

Модель врёт не назло — она предсказывает правдоподобное. Ваша защита в промпте: просите источники, включайте поиск, разрешайте «не знаю» — и не доверяйте самопроверке без внешней опоры. А для важного всегда сверяйте факт сами.

Источники

• PromptingHub — Почему нейросеть врёт — как это поймать промптом 
• Microsoft — Prompt engineering techniques (о цитатах против галлюцинаций)
• Huang et al. — Large Language Models Cannot Self-Correct Reasoning Yet (2023)