Продолжение серии
Методика, по которой мы проверяем каждый промпт в библиотеке — четыре оси и что делать по каждой.
В подборках «100 лучших промптов» никто не отвечает на главный вопрос: какой из них реально работает? Промпт выглядит убедительно — но это ничего не значит. Ниже методика, по которой мы проверяем каждый промпт в библиотеке. Её можно применять и к чужим промптам из интернета, до того как вы потратите время.
Проверяем по четырём осям. Промпт хорош настолько, насколько хороша его слабейшая ось.
1. Соответствие цели
Делает ли промпт то, что заявлено в заголовке?
Самая частая поломка подборок: заголовок обещает «SEO-аудит сайта», а внутри — «расскажи про SEO». Заявка и содержимое расходятся, и вы это замечаете уже после того, как получили не тот результат.
Как проверить: прочитайте заголовок, закройте его и прочитайте текст промпта. Опишите одним предложением, что он на самом деле просит сделать. Совпало с заголовком — ось пройдена.
2. Фактические функции
Что промпт делает по шагам — и все ли шаги на месте?
Здесь ловятся обрывы: промпт просит «проанализируй и составь отчёт», но нигде не сказано, что анализировать, по каким критериям и что должно быть в отчёте. Модель додумает — и каждый раз по-разному.
Как проверить: выпишите действия, которые промпт требует, списком. Если на каком-то шаге вы сами не понимаете, что именно должно произойти — модель тоже не поймёт.
3. Исполнимость
Может ли модель это выполнить как есть, без догадок?
Что здесь ломается чаще всего:
- Нет роли и формата вывода — модель угадывает и уровень, и форму ответа.
- Противоречия — «будь краток» и «опиши подробно каждый пункт» в одном промпте.
- Незаполнимые плейсхолдеры — [вставьте ваш контекст] без объяснения, что туда класть.
- Обрыв — промпт скопировали не целиком, и это видно только при запуске.
Как проверить: попробуйте выполнить промпт сами, как человек. Место, где вы сами спросите «а что имеется в виду?» — это и есть то место, где модель начнёт выдумывать.
4. Безопасность
Нет ли в промпте попытки обойти ограничения модели, вредоносного или незаконного замысла?
Речь не о «грубых словах», а о замысле: инъекции («игнорируй предыдущие инструкции»), обход защит, вредоносный код. Такой промпт может сработать — и создать вам проблему, а не результат.
Как проверить: спросите себя, что случится, если результат применить буквально. Если ответ вам не нравится — ось не пройдена, каким бы эффективным промпт ни был.
Как это работает у нас
Каждый промпт в библиотеке проходит эти четыре оси дважды (безопасность трижды):
- ИИ-проверка — модель разбирает промпт по осям и предлагает точечные правки: какую фразу на что заменить и почему (последнее самое важное).
- Живой эксперт — человек читает промпт, правки ИИ, проверяет сам и выносит финальное решение.
Порядок принципиален: ИИ даёт масштаб, человек — ответственность. Финальное слово всегда за человеком, а промпт, не прошедший проверку, не публикуется как проверенный — он либо отклоняется, либо остаётся с честной пометкой «на проверке».
Что забрать с собой
Перед тем как использовать промпт из интернета, задайте четыре вопроса:
- Делает ли он то, что обещает в заголовке?
- Понятны ли все его шаги — вам, а значит и модели?
- Может ли модель выполнить это без догадок: есть роль, формат, нет противоречий?
- Что будет, если применить результат буквально?
Две минуты проверки экономят полчаса переписывания. А если проверять не хочется — берите из библиотеки: там это уже сделали за вас.
Комментарии (1)
Методика с четырьмя осями — это редкий случай, когда про промпты говорят не магией, а инженерией. Особенно ценно, что ось «исполнимость» вынесена отдельно: именно здесь чаще всего гибнут хорошие задумки, когда модель начинает додумывать роль и формат вывода. Фактически предлагается сдвинуть проверку на этап до запуска, а не после, и это сильно экономит время. Из российских компаний, которым такая валидация могла бы пригодиться, в голову приходит Сбер с их GigaChat — у них есть и методологическая база по промпт-инжинирингу, и огромный пласт корпоративных сценариев, где плохой промпт означает неверные бизнес-решения. Для пилота можно было бы собрать рабочую группу с методологами Сбера и прогнать их реальные внутренние промпты через эти четыре оси, чтобы посмотреть, сколько из них не пройдут тест на исполнимость. А какой процент промптов, по вашим наблюдениям, отсеивается на каждой из осей — есть ли статистика по самой слабой?