Budżet błędów agenta AI: kiedy wstrzymać jego działanie

Agent AI może odpowiedzieć w sekundę, nie zgłosić żadnego błędu technicznego i mimo to podać klientowi nieprawdziwą informację. Serwer działa, integracja działa, a problem wychodzi na jaw dopiero wtedy, gdy ktoś zauważy skutki odpowiedzi. Dlatego jakość agenta trzeba mierzyć osobno od dostępności aplikacji.

Grafana proponuje przenieść do pracy z agentami AI zasadę znaną z utrzymania usług: ustalić cel jakości i budżet błędów. Najważniejsza w niej nie jest jednak sama wartość na wykresie, lecz decyzja podjęta wcześniej: co robimy, gdy agent myli się częściej, niż zaakceptowaliśmy?

Co oznacza budżet błędów agenta?

Najpierw wybieramy zachowanie, które można ocenić. Na przykład: czy agent odpowiedział na pytanie zgodnie z aktualną bazą wiedzy? Każdą ocenioną rozmowę oznaczamy jako poprawną albo niepoprawną. Następnie ustalamy cel na określony czas.

W przykładzie opisanym przez Grafanę celem jest poprawne wykonanie 95% rozmów w ciągu 30 dni. Pozostałe 5% to budżet błędów. Gdyby w tym okresie oceniono 2000 rozmów, budżet wynosiłby 100 niepoprawnych wyników. To przykład rachunkowy, a nie zalecany próg dla każdego produktu. Pięć procent nie oznacza też, że każdy taki błąd jest nieistotny.

Przydatna jest nie tylko informacja, ile budżetu zostało, ale też tempo jego zużywania. Dokumentacja Grafany rozróżnia alerty wolnego i szybkiego zużycia budżetu: pierwsze reagują na zużycie w skali godzin lub dni, drugie – w skali minut lub godzin. Agent, który z dnia na dzień myli się odrobinę częściej, może długo nie wywołać pojedynczego alarmu, choć zmierza do przekroczenia celu.

Mierz zachowania, które mają znaczenie dla użytkownika

Jeden wynik „jakości AI” łatwo ukryje ważny problem. Agent może dobrze streszczać zgłoszenia, ale podawać błędne terminy realizacji. Może trafnie odpowiadać na pytania, lecz próbować wykonać działanie bez wymaganej zgody. Warto zatem oceniać osobno kilka zachowań: zgodność odpowiedzi ze źródłem, wykonanie zadania, poprawność danych i bezpieczeństwo działań.

Nie każda ocena wymaga kolejnego modelu AI. Format danych można sprawdzić automatycznie, porównując odpowiedź z wymaganym schematem, a niektóre niedozwolone wartości wykryje prosta reguła. Ocena tego, czy odpowiedź rzeczywiście rozwiązała sprawę klienta, zwykle wymaga analizy kontekstu oraz okresowego przeglądu przez człowieka. Grafana opisuje zarówno oceny oparte na regułach, jak i oceny wykonywane przez model.

Ważne jest również to, które rozmowy trafiają do oceny. Jeśli sprawdzamy tylko proste pytania, wysoki wynik niewiele powie o trudniejszych sprawach. Warto analizować osobno różne typy zadań i wracać do przypadków, w których ocena automatyczna nie zgadza się z oceną człowieka. Budżet liczony na podstawie źle dobranych przykładów daje pozorne poczucie pewności.

Kiedy ograniczyć agenta, a kiedy go zatrzymać?

Wyobraźmy sobie agenta, który pomaga zespołowi obsługi przygotowywać odpowiedzi na zgłoszenia. Firma przyjmuje roboczy cel: co najmniej 95% odpowiedzi zgodnych z bazą wiedzy w ciągu 30 dni. Zanim uruchomi agenta, zapisuje trzy reakcje.

Gdy budżet zaczyna szybko się kurczyć, zespół sprawdza ostatnie błędne odpowiedzi oraz zmiany w modelu, instrukcjach i bazie wiedzy. Może też wstrzymać publikację nowych wersji agenta. Gdy budżet zostaje wyczerpany, agent przestaje wysyłać odpowiedzi samodzielnie i przygotowuje szkice, które zatwierdza pracownik. Do samodzielnego działania wraca po wprowadzeniu poprawki i sprawdzeniu jej na przykładach, które wcześniej sprawiały mu trudność.

Trzecia reakcja nie zależy od procentów. Jeśli agent próbuje ujawnić dane innego klienta albo wykonać działanie bez uprawnienia, taki krok powinien zostać zablokowany od razu. Nie czekamy, aż zbierze się odpowiednia liczba pomyłek. Budżet pomaga zarządzać zwykłymi odchyleniami jakości, ale przy błędach o poważnych skutkach potrzebne są twarde ograniczenia i kontrola uprawnień.

To scenariusz do zaprojektowania dla konkretnej firmy, a nie opis wdrożenia Grafany. Podobną zasadę stosuje się w klasycznym utrzymaniu usług: przykładowa polityka Google SRE przewiduje wstrzymanie zmian po przekroczeniu budżetu, aby zespół mógł skupić się na poprawie niezawodności.

Zapisz zasady przed uruchomieniem

Dobrą politykę da się zmieścić na jednej stronie. Powinna mówić, jakie zadania oceniamy, co dokładnie uznajemy za błąd, jaki jest cel i okres pomiaru oraz kto dostaje sygnał o szybkim zużywaniu budżetu. Musi też wskazywać, kto może ograniczyć samodzielność agenta i na jakich warunkach ją przywrócić.

Próg warto ustalić na podstawie wyników własnego agenta i skutków jego pomyłek, a potem go korygować. Przykładowe 95% z artykułu Grafany nie zastąpi takiej decyzji. Co więcej, narzędzie może zaproponować cel dopiero po zebraniu danych: dokumentacja Grafany opisuje rekomendowany cel na podstawie co najmniej 50 wyników oceny z ostatnich 28 dni. To punkt wyjścia do rozmowy o ryzyku, a nie dowód, że zaproponowany poziom jest wystarczający.

Wniosek

Budżet błędów ma sens wtedy, gdy prowadzi do działania. Ustal granicę jakości, sposób jej mierzenia i reakcję na przekroczenie, zanim agent zacznie samodzielnie podejmować decyzje.