SLO для AI-агентов — Grafana предлагает мерить поведение

Что произошло

Grafana Labs предложила применять практики SRE как SLO для AI-агентов: превращать автоматизированные оценки — evals — в SLIs и устанавливать для них SLO с error budget. Обзор идеи и аргументы компании описал репортаж InfoQ от 16 октября 2026 года (InfoQ).

Вместо того чтобы ориентироваться только на техническую доступность и время ответа, Grafana предлагает измерять свойства ответов агента — опирается ли ответ на предоставленный контекст (groundedness), выполнил ли агент задачу, содержит ли ответ токсичный контент или утечки персональных данных, а также учитывать стоимость запросов.

Как это работает

Порядок действий простой: для каждого взаимодействия с агентом запускается eval, который проверяет один или несколько критериев и возвращает бинарную или градуируемую метрику — SLI. Оценки можно реализовать с помощью другого LLM‑судьи или детерминированных проверок (регулярные выражения и т. п.) там, где поведение распознаётся однозначно (InfoQ).

Команда затем задаёт целевой уровень — SLO — и вычисляет error budget как допустимую долю нарушений за выбранный интервал (в материале приводится пример: 95% выполненных запросов за 30 дней). Наличие бюджета даёт импульс для экспериментов: пока бюджет не расходуется, можно тестировать новые промпты или модели; при его сокращении приоритет смещается в сторону исправления качества.

Почему это полезно

Подход помогает заметить медленную деградацию качества, которую обычный мониторинг инфраструктуры не покажет. Агент может оставаться «в сети» и обрабатывать запросы без технических ошибок, но при этом постепенно снижать релевантность, groundedness или безопасность ответов — это будет видно по сгоранию error budget, а не по единичным алертам (InfoQ).

Grafana разделяет офлайн‑оценки (валидация на известных сценариях) и онлайн‑оценки (анализ реальных продакшн‑взаимодействий) и предлагает связывать их с инструментами наблюдаемости, чтобы поддерживать замкнутый цикл между evals, наблюдаемостью и инженерными изменениями.

Ограничения метода

SLO полезен только в той мере, в какой достоверна метрика под ним. Если оценщик — LLM‑грейдер — систематически ошибается, или если критерий сформулирован так, что агент формально проходит проверку, но не выполняет намерение пользователя, то error budget даст ложное ощущение контроля. InfoQ подчёркивает необходимость репрезентативных наборов задач, ручной проверки спорных случаев и регулярной валидации самих оценщиков (InfoQ).

Как это сочетается с другими практиками

Идея Grafana вписывается в более широкую практику разработки evals. В официальном материале Anthropic описаны термины и процессы для надёжных оценок агентов — task, trial, grader, transcript и harness — и рекомендации по многократным прогонам и нескольким проверяющим, чтобы учесть стохастичность моделей (Anthropic).

Anthropic также отмечает, что модель иногда находит нестандартные решения, которые формально не проходят тест, но полезны для пользователя; поэтому при создании evals важно учитывать весь цикл работы агента — последовательные вызовы инструментов, изменения состояния среды и итоговый outcome — а не только финальный текст ответа.

Вывод

Grafana предлагает применить устоявшуюся SRE‑модель для управления поведенческой надёжностью агентов: формализовать критерии через evals, измерять их как SLIs, задавать SLO и использовать error budget для оперативных решений. Метод не снимает необходимости в качественных evals и постоянной валидации оценщиков, но даёт инженерным командам понятный механизм для балансирования экспериментов и исправлений в продакшне.