RAG vagy fine-tuning: melyikre van szüksége a vállalatnak?

A vezetők leggyakoribb kérése egy AI projekt elején: "Adjunk oda minden PDF-et, szerződést és tudástárat a nyelvi modellnek (LLM), hogy tanulja meg, és utána kérdezhessünk tőle!" Ez a megközelítés – bár intuitívnak tűnik – technológiailag helytelen, rendkívül drága és biztonsági szempontból is kockázatos.

Két alapvetően eltérő technológia létezik arra, hogy egy nyelvi modellt rábírjunk a saját vállalati adataink használatára: a RAG (Retrieval-Augmented Generation) és a Fine-Tuning (Finomhangolás). A kettő teljesen más problémát old meg.

Gondoljon a nyelvi modellre úgy, mint egy frissen végzett, briliáns egyetemistára.
• A RAG olyan, mintha adnánk neki egy kereshető vállalati kézikönyvet (Nyitott könyves vizsga). Ha kérdezünk valamit, kikeresi a könyvből a választ.
• A Fine-Tuning olyan, mintha egy speciális viselkedési tréningre küldenénk, ahol begyakorolja, hogyan kell udvariasan, egy adott formátumban beszélni az ügyfelekkel, de konkrét új tényeket nem magoltatunk be vele.

A RAG technológia lényege, hogy a tudást nem a modell agyába (súlyaiba) égetjük bele, hanem egy külső, kereshető adatbázisban (Vector Database) tartjuk. Amikor a felhasználó feltesz egy kérdést, a rendszer először megkeresi a releváns dokumentumokat, majd ezt a szöveget beteszi a ChatGPT "elé" (a promptba), és arra kéri a modellt, hogy kizárólag a mellékelt szöveg alapján válaszoljon.

Felhasználó kérdez → Szemantikus Keresés az adatbázisban (Retrieval) → Találatok (Kontextus) hozzáfűzése → AI Válasz generálása (Generation)

A RAG előnye, hogy az adatok valós idejűek. Ha egy szerződés holnap megváltozik, csak az adatbázisban kell frissíteni, a modell azonnal az új verziót fogja használni. Továbbá, mivel a modell látja, hogy miből dolgozik, pontosan meg tudja jelölni a forrását (kattintható linkek formájában), elkerülve a rettegett "hallucinációt".

A vállalati projektek 80%-ában a RAG a helyes első lépés. A Fine-Tuning egy drága, specializált eszköz, amit csak indokolt esetben szabad bevetni.

Bár a tudás átadására a RAG a megoldás, vannak esetek, amikor a RAG (és a bonyolult Promptolás) önmagában már nem elég. A Finomhangolás (Fine-tuning) akkor indokolt, ha:

• 1. Speciális formátum kényszerítése: Ha az AI-nak egy nagyon bonyolult, 200 soros egyedi XML-t vagy JSON-t kell generálnia egy régi ERP rendszer számára, és a promptolás (utasítás) hatására is gyakran elrontja a szintaktikát. 1000 darab hibátlan példa betanítása (fine-tuning) után a modell a "vérében" fogja hordozni a helyes kimenetet.
• 2. Belső Vállalati Szakzsargon megértése: Ha a cég egy olyan speciális iparágban dolgozik (pl. speciális orvosi diagnosztika, vagy nagyon egyedi pénzügyi rövidítések), amit az alapmodell (GPT-4) nem ismer. (Bár sokszor ezt is meg lehet oldani egy jól karbantartott fogalomtár RAG-ba helyezésével).
• 3. Költség és Késleltetés (Latency) csökkentése: Képzeljünk el egy feladatot, ami másodpercenként 1000-szer fut le (pl. egy log elemző modul). Egy drága GPT-4 használata ehhez csődbe viszi a céget. Ilyenkor fogunk egy kicsi, olcsó nyílt forráskódú modellt (pl. Llama 3 8B), finomhangoljuk a cég adatain, amíg el nem éri az okos modell pontosságát ebben a nagyon szűk, specifikus feladatban. Így egy 100-szor olcsóbb és gyorsabb modellt kapunk.

A generatív AI rendszereknél a "működik" és a "biztonságosan, élesben működik" között hatalmas a szakadék. Ha a RAG architektúra minősége (a Keresés) gyenge, az AI hiába zseniális, rossz dokumentumok alapján fog butaságokat válaszolni (Garbage In, Garbage Out).

• Chunking Stratégia: A dokumentumokat nem lehet egyben bedobni az adatbázisba. Intelligensen, bekezdés vagy logikai egységek szerint kell őket darabolni (chunk), hogy a keresőmotor pontosan a keresett mondatot találja meg.
• Reranking (Újrapontozás): A sima vektor-keresés gyakran visszaad 20 találatot. Egy külön gépi tanulási modellnek (Cross-Encoder / Reranker) újra kell pontoznia ezeket, és csak a 3 legbiztosabb találatot szabad a ChatGPT elé engedni.
• Evaluation (Evalok): Sose menjen élesbe RAG rendszer anélkül, hogy építettünk volna egy automatizált teszt-szettet (Golden Dataset). Minden módosításnál (pl. egy új PDF feltöltésekor) 100 tesztkérdés automatikusan lefut, hogy lemérjük, romlott-e a válaszok minősége (Regresszió).

"A Fine-Tuning varázslatos dolognak hangzik, de az ügyfelek 90%-ának egy profin felépített RAG architektúrára van szüksége, nem a modell súlyainak újra-tanítására. A RAG a tényeket, az aktuális árlistát és a jogosultságokat kezeli transzparens, nyomonkövethető módon. Ha viszont egyszer beletanítunk egy érzékeny ügyfél-szerződést a LLM súlyaiba (Fine-Tuning), szinte lehetetlen bebizonyítani a compliance auditon, hogy azt a memóriát a modell nem fogja akaratlanul kiadni egy másik felhasználónak. Kezdjük a RAG-al; a finomhangolást hagyjuk meg a strukturális optimalizálásra." — Udvarhelyi Dávid, AI Architect

Lehet a RAG-ot és a Fine-Tuning-ot egyszerre használni?
Igen, sőt ez a legfejlettebb architektúra (RAG-Augmented Fine-Tuning). Egy kisebb modellt finomhangolunk, hogy tökéletesen megértse a cég belső zsargonját, de a konkrét tényeket (pl. "Mennyi az ár?") továbbra is a RAG adatbázisból, valós időben nyeri ki.

Mennyi adat kell egy sikeres Finomhangoláshoz?
A céltól függ. Egy új stílus (pl. formális ügyfélszolgálati hangnem) átvételéhez gyakran elég 100-500 magas minőségű (ember által ellenőrzött) példa. Egy komplex strukturált kimenet (komplex JSON) megtanulásához több ezer validált példára is szükség lehet.

Biztonságos a felhőbe tölteni a RAG adatokat?
A vektoradatbázis (pl. Pinecone, Qdrant) tárolja az Ön dokumentumainak matematikai lenyomatát (vektorokat) és a szöveg-darabokat (chunkokat). Bár ezek a szolgáltatók SOC2 tanúsítvánnyal rendelkeznek, szigorú adatvédelmi igény (Banking, Egészségügy) esetén a RAG pipeline-t (beleértve a vektortárat is) teljesen helyben (On-Premise) érdemes telepíteni.