Hogyan monitorozható egy éles AI-agent?

A DevOps csapat beállítja a Datadogot: "200 OK a válasz a szervertől." Mindenki nyugodt. Aztán jön a hívás az Ügyfélszolgálatról, hogy az AI Agent egy órája káromkodik a userekkel.

Az LLM (Large Language Model) alapú Agentek egyedi kihívása, hogy nem determinisztikusak. Két teljesen egyforma kérdésre adhatnak két különböző választ. Ezért az úgynevezett LLM Observability (Megfigyelhetőség) egészen új metrikákat és eszközöket (pl. LangSmith, Phoenix) igényel.

Ha az Agent rossz választ ad, tudnunk kell, hol hibázott. Egy összetett Agent 4-5 lépésből rakja össze a kimenetet. Ezt hívjuk Trace-nek (Nyomnak).

• 1. Felhasználói Kérés: "Hol van a csomagom?"
• 2. Router (Döntés): Az Agent eldönti, hogy egy adatbázist kell meghívnia (Tool Calling).
• 3. API Hívás (Tool): A CRM API-tól megkapja, hogy "Transit".
• 4. Generálás (LLM): Megírja a barátságos szöveget a Usernek.

Egy jó monitoring felület vizuálisan megmutatja ezt a fát. Így a fejlesztő egy kattintással látja, hogy "Nem a modell hallucinált (4. lépés), hanem az API küldött vissza rossz státuszt (3. lépés)."

Mivel a szöveg minősége nehezen mérhető, be kell vezetni az "Evals" (Evaluations - Értékelések) rendszerét. Ilyenkor egy másik AI modellt (Judge Model) használunk arra, hogy pontozza az Agentünk teljesítményét valós időben.

Egy felhős AI rendszernél minden leütött és generált karakter pénzbe (Tokenekbe) kerül. Ha egy Agent végtelen hurokba kerül (pl. két Agent elkezd egymással beszélgetni egy hibás kód miatt), az milliós számlát generálhat egyetlen éjszaka alatt.

• Hard Limits (Határok): Be kell állítani a rendszert úgy, hogy "Userenként napi max 50 hívás" engedélyezett, és "Maximum 100 USD összköltség / nap". Ha ezt eléri, az Agent automatikusan lekapcsol vagy tartalék (Fallback) módba vált.
• Felhasználó-szintű lebontás: A monitoringnak mutatnia kell, hogy a cég havi 2000 dolláros AI számláját ki generálta. Lehet, hogy egyetlen fejlesztő futtatott le egy óriási tesztet, miközben az összes többi User csak 5 dollárt költött.

"Sok cég megspórolja az LLM Observability eszközöket (pl. a LangSmith előfizetést), mondván 'majd a konzolba (Logokba) kiíratjuk a hibákat'. Ez egy Agentnél lehetetlen. Amikor egy Agent egyszerre meghív 3 RAG láncot és 2 API-t, és az eredményt egybefűzi, a nyers szöveges Logokból napokig tart kibogarászni, hogy miért hagyta le az árlistából a kedvezményt. Mi úgy építjük a rendszereinket, hogy az Ügyfél is hozzáfér a Trace felülethez, és pontosan látja, a 'Gép agyának' melyik fogaskereke akadt be." — Szabó Attila, AI Architektúra Szakértő

Mit tegyünk, ha a modell teljesítménye hónapok alatt elkezd romlani (Data Drift)?
Erre valók a regressziós tesztek (Golden Datasets). A monitoring folyamatosan rögzíti a jó és rossz válaszokat. Ha a modell-szolgáltató (pl. OpenAI) frissíti a motort a háttérben, az Ön rendszere automatikusan lefuttatja a 100 kedvenc kérdését (Golden Dataset) az új modellen. Ha a pontszámok beesnek, a rendszer riaszt a fejlesztőknek.

A monitoring rendszer nem jelent-e GDPR kockázatot (pl. elmenti a chatet)?
De, jelenthet. Ezért a professzionális Observability eszközök rendelkeznek PII (Személyes Adat) Maszkolással. A Trace (Nyomkövetés) felhőjébe a jelszavak, nevek és email címek már csak "Kicsillagozva" (*****) érkeznek meg. A fejlesztő látja az adatszerkezetet, de nem látja az érzékeny adatot.