Как проверить результат работы ИИ-агента

С чего начать, когда агент прислал результат

Ассистент подготовил отчёт, ответ клиенту или обновил список задач. Читать всё с подозрением и заново делать ту же работу не хочется. Но и отправлять результат дальше только потому, что он выглядит аккуратно, рано.

Проверку стоит начинать с того, ради чего вы давали поручение. В отчёте — с вывода, по которому примете решение. В письме — с обещаний, которые получит адресат. В таблице — с состава данных и главного расчёта. Если агент должен был что-то изменить в приложении, нужен сам результат изменения.

Допустим, вы поручили подготовить ответ заказчику: сообщить, что цена осталась прежней, а готовность подтвердите завтра. Агент написал: «Завтра всё будет готово по прежней цене». Достаточно сравнить одно обещание с заданием, чтобы заметить существенную ошибку. Правка: «Завтра подтвердим дату готовности; сейчас её не обещаем». Переписывать правильную часть о цене не нужно.

Обычно уже этот проход показывает, готова ли работа к использованию и где требуется уточнение. Исправление запятой в черновике и ошибка в отправленной клиенту сумме имеют разные последствия. Глубину проверки выбирают под задачу, а не по одному обязательному списку для всех ответов ИИ.

Сначала найдите главное расхождение с поручением

Посмотрите, получили ли вы обещанный результат целиком. Попросили сравнить три предложения, а в ответе подробно разобраны два. Ожидали файл, а получили описание того, что в нём будет. Просили подготовить черновик письма, а ассистент сообщает об отправке. Это разные ошибки, но каждую можно заметить до подробного чтения.

Далее полезно проверить несколько опорных вещей:

• Материалы. Нужный проект, документ и период. Хороший разбор прошлогодних условий не ответит на вопрос о текущем предложении.
• Главный вывод. Есть ли под ним данные или конкретные основания. «Стоит увеличить бюджет» требует большего, чем перечисление достоинств канала.
• Пропуски. Указано ли, что не удалось получить или сделать. Непрочитанный файл может повлиять на весь итог, даже если остальные части выглядят убедительно.
• Ваши последние изменения. Учтены ли новый срок, отменённый вариант и правки, которые вы внесли по ходу разговора.

Не обязательно требовать длинный отчёт о каждом шаге агента. Удобнее сразу попросить рядом с результатом коротко перечислить использованные материалы и незавершённые части. Это помогает выбрать, что открыть для подробной сверки.

В тексте ищите факты и обещания, которые повлияют на решение

В письме клиенту сначала прочитайте условия: цена, сроки, состав работ, скидки, гарантии. Именно они могут незаметно измениться, пока агент делает фразу более гладкой. Если вы обещали ответить завтра, формулировка «завтра всё будет готово» меняет смысл, даже если письмо звучит дружелюбно.

Затем посмотрите, подходит ли текст адресату. Внутренняя заметка может содержать сокращения и незакрытые вопросы. Клиентское письмо должно быть понятно человеку, который не видел вашу переписку с агентом. Общая фраза «сделать профессиональнее» здесь мало помогает; замечание «объясните, какие два действия нужны от клиента» даёт понятную доработку.

У исследования или аналитической сводки другой центр тяжести. Откройте источники главных выводов: тот ли продукт обсуждается, к какому периоду относятся сведения, подтверждает ли страница именно это утверждение. Ссылка на главную страницу компании не подтверждает конкретную цену или функцию.

Допустим, в отчёте сказано: «После запуска рассылки продажи выросли благодаря новому письму». Из таблицы может следовать только рост продаж за тот же период. Причина остаётся предположением, пока не разобраны другие изменения. Полезная правка — сохранить наблюдение и отдельно обозначить гипотезу о влиянии рассылки.

Для идей и первых черновиков достаточно отобрать подходящие варианты и убрать неверные детали. Для текста, который станет публичным обещанием или основой решения, нужно прочитать все существенные утверждения. Количество гладких абзацев не меняет эту границу.

В таблице проверьте, что посчитано, и только потом число

Ошибки в расчёте часто начинаются с отбора строк. В выгрузке могут оказаться несколько периодов, повторные обращения или уже готовая строка «Итого». Если сложить её с подробными строками, данные посчитаются дважды. Похожая проблема возникает, когда заявки принимают за покупателей или все обращения — за уникальных клиентов.

Сверьте период, фильтры и единицы измерения. Затем пересчитайте главный показатель обычной формулой в таблице или калькуляторе. Для объективных условий прямая проверка надёжнее свободного рассуждения ещё одной модели; такой подход отдельно описан в документации LangSmith.

Особенно легко ошибиться со средними и процентами. Допустим, два канала дали такие результаты:

Большую таблицу необязательно вручную пересчитывать целиком. Начните с общего количества строк, итоговой суммы и нескольких показательных записей: обычной, с пустым значением, с дублем и на границе периода. Если ошибка обнаружилась в общем правиле — например, в фильтре даты, — пересчёт нужен для всего затронутого набора, а не только для замеченной строки.

Отчёт удобнее принимать, когда в нём видны формулы и связь с исходными данными. Если агент прислал только итоговую цифру, попросите добавить расчёт и назвать включённые строки. Это дополнение делает результат понятнее и для коллеги, который откроет файл позже.

Если агент действовал в приложении, откройте само приложение

«Письмо отправлено» и подготовленный текст письма — разные результаты. То же относится к созданной встрече, записи в CRM или изменённому файлу. Anthropic различает запись хода работы агента и фактическое состояние среды после выполнения. Для обычного пользователя это означает: итог смотрят там, где он должен появиться.

В отправленном письме важны получатель, тема, вложение и окончательная версия текста. У встречи — участники, дата, часовой пояс и отсутствие лишнего повторения. В CRM стоит открыть нужную карточку и сверить изменённые поля: совпадающая фамилия ещё не означает нужного клиента.

Попросите у агента прямую ссылку или идентификатор результата, если инструмент их возвращает. Ответ инструмента помогает понять, что произошло, но не заменяет проверку содержания: приложение может успешно принять запись с неверной датой.

Если выполнение оборвалось, не спешите повторять отправку или создание. Сначала найдите результат первого запуска. Он мог сохраниться, пока агент не получил подтверждение. Повтор нужен, когда понятно, что действие не завершилось; иначе легко получить два письма или две встречи.

Как попросить доработку, после которой станет лучше

«Вы всё сделали неправильно» выражает реакцию, но не объясняет нужное изменение. Полезнее назвать расхождение и дать опору: фрагмент источника, ячейку, правило расчёта или согласованное условие. Хорошие части работы при этом можно сохранить.

В общей конверсии вы усреднили проценты каналов. Пересчитайте её как сумму заявок, делённую на сумму посещений. Используйте тот же период и те же строки. Покажите формулу рядом с итогом. Проверьте выводы, которые опираются на прежний процент; остальные разделы не переписывайте.

Ошибку в данных исправляют в данных: если вы передали старый прайс, пришлите новый и обозначьте, какую версию он заменяет. Если неясно само требование, уточните его. А когда агент неверно применил понятное правило, достаточно показать расхождение и попросить пересчитать затронутую часть.

После правки проверьте и итог, и последствия изменения. Если изменилась общая конверсия, прежняя рекомендация может больше не подходить. Если перенесли встречу, новая дата должна совпадать в календаре, письме и сводке. Локальная правка не должна оставлять противоречащие ей выводы.

Как постепенно сократить объём ручной проверки

Когда одна и та же работа повторяется, сохраните подходящий результат и несколько понятных критериев. Например: в еженедельной сводке всегда указан период, итог сходится с исходной таблицей, открытые вопросы собраны отдельно. Удачную формулировку необязательно воспроизводить дословно; важны сведения и правила, от которых зависит польза.

Дальше можно проверять обычные части выборочно, уделяя больше внимания новым данным и изменившимся условиям. После замены источника, формулы или инструкции стоит снова подробно разобрать затронутый участок. Для внешних отправок и других действий с заметными последствиями сохраняйте проверку содержания и адресата перед подтверждением.

Проверка источников нужна и у уверенно написанного текста. Яндекс Практикум рекомендует открывать исследования, статьи и документы, на которые ссылается нейросеть, и сверять смысл. Для своей рабочей справки проще начать с исходного договора или таблицы, которые вы передали агенту: они ближе к решаемому вопросу, чем общий поиск похожей формулировки.

Дополнительная модель может найти противоречие в отчёте или заметить непонятную фразу. Дайте ей конкретный вопрос и те же исходники. Совпадение двух ответов ещё не подтверждает факт: спорную сумму всё равно сверяют с документом, а выполненное действие — с приложением.

Если регулярно находится одна и та же ошибка, перенесите исправление в постоянное поручение. Требование показывать формулу или разделять решения и предложения полезнее нового спора после каждого запуска. Так проверка становится частью понятного рабочего процесса и помогает агенту выдавать результат, которым вы можете пользоваться.

Источники

• Яндекс Практикум: как ошибаются нейросетиПроверка существования источника и того, подтверждает ли он утверждение.
• Anthropic: проверка результатов ИИ-агентовРазличие между ответом агента и фактическим результатом действия.
• LangSmith: способы проверкиПрямые проверки правил и расчётов, отдельно от оценки качества текста.