Приёмка ИИ-агента: как проверить работу перед запуском
Агент получил документ, заполнил карточку и сообщил о готовности. На показе всё выглядит убедительно. При приёмке заказчику предстоит выяснить, какую задачу сотрудник сможет закончить с этим результатом: проверить реквизиты, согласовать изменение, найти сохранённый документ и продолжить работу после сбоя. Успешный вход в программу и аккуратная карточка подтверждают отдельные шаги. Весь рабочий цикл нужно пройти до конца.
Опубликовано
Принимать ИИ-агента удобно вместе с будущим пользователем и руководителем процесса. Сотрудник замечает пропущенное поле или неудобный повтор. Руководитель определяет, какие решения агенту разрешены, где требуется подтверждение человека и при каком результате запуск придётся отложить.
Сначала запишите, чем заканчивается задача
Фраза «агент обрабатывает документы» оставляет слишком много вариантов. Для проверки нужна задача с наблюдаемым окончанием. Например, в учебном сценарии агент получает счёт поставщика, готовит черновик с реквизитами и строками, отмечает сомнительные места и передаёт сотруднику на проверку. Сотрудник принимает согласованные изменения и открывает сохранённый результат в рабочем разделе.
До испытания запишите исходные документы, ожидаемый результат и разрешённые действия. Укажите, что агент может читать, где готовить черновик, кто вправе его подтвердить. Для операций с последствиями отдельно проверьте момент подтверждения: сотрудник должен видеть содержание изменения до его выполнения. После существенной правки черновика понадобится новое согласование.
Такое разделение есть и в описании Приборки: агент готовит документы и предложения для проверки сотрудником, помощник отвечает по отчётам. Приёмку этих функций стоит разделить. У ответа помощника проверяют период, состав и источник цифры; у выполненной задачи агента дополнительно проверяют согласование и сохранённый результат.
Соберите матрицу из восьми проверок
Ниже приведён учебный набор для подготовки черновика документа. Его можно перенести в таблицу и приспособить к своему процессу. Число проверок задаёт структуру этого чек-листа; объём испытаний заказчик выбирает с учётом задачи и возможных последствий ошибки.
| Вход для проверки | Ожидаемое поведение | Чем подтверждается |
|---|---|---|
| Полный документ согласованного вида | Агент готовит результат со всеми обязательными полями и строками | Сотрудник сверяет результат с исходником и открывает сохранённую запись |
| Документ с приложением, влияющим на итог | Агент учитывает доступное приложение и указывает источник; при его отсутствии отмечает неполноту | Проверяются состав использованных файлов, строки расчёта и предупреждение о пропуске |
| Черновик, для сохранения которого требуется согласование | До подтверждения согласованное изменение не выполняется; после подтверждения сохраняется показанная редакция | Сравниваются состояние до операции, содержание подтверждения и запись после неё |
| Повтор того же задания после задержки или повторного нажатия | Система распознаёт прежнюю операцию. При неизвестном исходе первой попытки повторное действие не выполняется до проверки | Сотрудник ищет исходный результат и проверяет отсутствие второго документа или действия |
| Файл с пропущенными страницами или реквизитами | Агент обозначает, чего не хватает, и передаёт вопрос человеку по согласованному правилу | В результате видны незаполненные поля, причина остановки и следующий шаг |
| Файл организации вне прав текущего пользователя либо запрос к закрытому разделу | Система соблюдает права текущего пользователя и не подставляет чужие сведения | Испытание проходит под соответствующей ролью; проверяются ответ, результат поиска и доступ по ссылке |
| Обрыв связи с внешним сервисом во время задачи | Система сообщает известное состояние операции, сохраняет возможность проверки и безопасного продолжения | Проверяются журнал попытки, наличие результата в целевой программе и поведение при повторе |
| Та же задача после обновления агента или подключения | Согласованное поведение сохраняется, изменившиеся результаты объяснены и проверены заново | Повторяются сохранённые задания, сопоставляются версии, ответы и записи в рабочей программе |
Для каждой строки заранее запишите ожидаемое поведение и состояние результата. Если проверяющий впервые решает, что считать правильным, во время показа, оценка будет зависеть от убедительности демонстратора. Спорные условия лучше разобрать до испытания: например, можно ли сохранить неполный черновик и как сотрудник отличит его от готового документа.
Проверьте источник и полноту результата
Верная итоговая сумма сама по себе оставляет вопросы к составу. Агент мог пропустить приложение, взять другую редакцию документа или получить совпавший итог при ошибке в строках. Попросите сотрудника открыть источник существенного вывода и пройти обратный путь от результата к использованным записям.
Для документа сверяют организацию, реквизиты, позиции и единицы измерения. Для сводного ответа нужны период и охват: какие документы включены, какие исключены и почему. Когда часть источников недоступна, пользователь должен понимать границу полученного результата до принятия решения.
В профиле рисков генеративного ИИ NIST рекомендуют проверять источники и ссылки в ответах, документировать ограничения испытаний и регулярно пересматривать защитные меры. Предлагаемая здесь матрица служит рабочим инструментом заказчика. Условия приёмки конкретного агента согласовывают заказчик и исполнитель.
Отдельно оцените отказ, ручной разбор и ошибку
Правильный отказ означает, что запрос выходит за согласованные права или разрешённые действия. Например, сотрудник просит открыть закрытый ему раздел. Система удерживает границу и объясняет доступный следующий шаг без раскрытия чужих данных.
Ручной разбор нужен, когда задача допустима, но оснований для автоматического решения недостаточно. У счёта отсутствует страница; агент отмечает пропуск и предлагает запросить документ. В журнале испытания такой исход можно принять, если он заранее предусмотрен и сотруднику понятно, как продолжить работу.
Ошибка возникает, когда фактическое поведение расходится с ожидаемым. Агент выдумал реквизит, скрыл пропуск, создал дубликат или выполнил изменение до подтверждения. Общее сообщение «что-то пошло не так» тоже требует разбора: пользователь может повторить действие, которое успело сохраниться во внешней программе. Здесь проверяют и сообщение, и фактическое состояние операции.
Замерьте время до завершения задачи
Время первого ответа и длительность выполнения всей задачи запишите отдельно. Быстрое «задача принята» мало говорит о моменте, когда сотрудник получит пригодный результат. В полный цикл входят ожидание, проверка источников, исправление замечаний, подтверждение и открытие сохранённого документа.
Во время испытания отмечайте ручные вмешательства и их причины. Исправление содержательной ошибки отличается от предусмотренного согласования. Если сотрудник вынужден заново переносить строки или искать пропущенные документы, это следует учесть при оценке пользы агента. Измерения проводите на описанном наборе задач и сохраняйте условия, чтобы сравнение после обновления имело смысл.
Оставьте заказчику воспроизводимый лист приёмки
Дополните матрицу графами «фактический результат», «решение», «ответственный» и «повторная проверка». К каждой строке приложите исходный учебный файл, снимок результата или запись в журнале с датой и версией. В материалах для общего обсуждения закройте сведения, которые участникам проверки видеть не положено.
Для решения о запуске отметьте, какие задачи приняты, какие доступны с ручной проверкой и какие остаются закрыты до исправления. Назначьте человека, которому сотрудник сообщит о сбое. После обновления повторите затронутые задания и проверки доступа, подтверждения и дубликатов. Сохранённый лист позволит следующему проверяющему воспроизвести результат и понять, на каких условиях агент допущен к работе.