AWS выпустила инструмент, который объясняет, почему ИИ-агент ошибся

Что произошло. Amazon Web Services на прошлой неделе сделала общедоступным сервис Amazon CloudWatch Omni — новую версию системы мониторинга CloudWatch. Раньше такие системы отвечали только на вопрос «работает программа или нет». Omni идёт дальше: он отслеживает каждое действие ИИ-агента и с помощью встроенных проверок (их 17) оценивает, был ли ответ агента разумным, полезным и правильным по сути, а не просто быстрым и без сбоев. Сервис умеет объединять данные о работе агента, приложения и серверной инфраструктуры в одном месте, чтобы было проще найти корень проблемы. Одним из первых сервис опробовала компания Sony, которая использует у себя сотни ИИ-агентов.

Что это значит для бизнеса. Если компания использует ИИ-агента, например, для ответов клиентам или обработки заказов, обычные технические показатели не покажут, что агент дал неверный ответ или выбрал неправильное действие. Omni помогает это заметить и разобраться в причине. Это особенно полезно, если агентов много и вручную проверять их работу невозможно. Из ограничений: сервис работает на облачной платформе AWS, и хотя данные можно переносить между разными системами благодаря открытому стандарту OpenTelemetry, сама «умная» часть анализа завязана именно на AWS. Также стоит учитывать, что агенты создают много данных о каждом своём шаге, и хранение этих данных может обходиться недёшево при большом количестве агентов.

Как попробовать. Расширение для редакторов кода бесплатно, а оплата идёт за объём передаваемых и хранимых данных. Новым клиентам доступен пробный период на 30 дней с бесплатными кредитами на обработку данных.