Milyen adatok szükségesek saját AI-modell tanításához?

A legtöbb vállalat rengeteg adatot termel, de ezek az adatok általában tárolásra (archívum) és nem tanításra lettek optimalizálva. Önmagában egy 10 milliós adatsor nem garantál sikeres AI projektet. A legfontosabb kérdés: Mit akarunk előrejelezni (Célváltozó), és vajon a múltbéli adatok egyértelműen megmutatják-e a helyes választ?

Képzeljük el, hogy a vevők lemorzsolódását (Churn) akarjuk előrejelezni. Hiába van meg a vásárlási történetük, ha nincs egy olyan "Címke" (Label) az adatok mellett, ami egyértelműen meghatározza: "Ez a vásárló 2023 augusztusában hagyott el minket, és ez volt az utolsó panasza."

A gépi tanulás nagyrészt a Felügyelt Tanuláson (Supervised Learning) alapul. A gép példákból tanul (Kép + A képen lévő hiba neve). Ha a példák rosszak, a modell rossz lesz.

• Emberi Egyetértés (Inter-Annotator Agreement): Ha két senior szakértő (pl. két minőségellenőr) ugyanazt a megkarcolt terméket eltérően címkézi (az egyik "Selejt"-nek, a másik "Még elmegy"-nek), akkor az AI sosem fogja tudni megtanulni a szabályt. Az AI projekt nem a kódolással kezdődik, hanem egy egyértelmű Címkézési Kézikönyv megírásával.
• A Célváltozó egyértelműsége: Nem elég azt mondani az AI-nak, hogy "Keress anomáliákat". Meg kell mondani neki, hogy pontosan 5 hibaosztály van (pl. Karcolás, Törés, Színeltérés).

Gyakori hiba, hogy a modellt egy tökéletes "laboratóriumi" (vagy tavaszi) adatkészleten tanítják be, majd nyáron, éles (Production) környezetben a rendszer összeomlik. Ezt Data Drift-nek (Adatelcsúszásnak) hívjuk.

Ha egy modell minden betanított adatot visszakap az ellenőrzéskor, kiváló pontosságot fog mutatni. Ez nem intelligencia, ez bemagolás (Overfitting). Az adatvagyont három, egymástól szigorúan elzárt részre kell osztani:

• Training set (Tanító halmaz - ~70%): Ebből tanulja meg a modell a szabályokat.
• Validation set (Validációs halmaz - ~15%): Ezen mérjük menet közben a tanulás hatékonyságát, és hangoljuk az algoritmus beállításait (Hiperparaméterek).
• Test set (Vak Teszt halmaz - ~15%): Ez a "záróvizsga". A modell sosem láthatta ezeket az adatokat. Szigorú szabály, hogy a teszthalmazt például időben kell leválasztani (pl. betanítjuk az adatokat júniusig, és júliust próbáljuk előrejelezni). Ezzel szimuláljuk, hogyan viselkedik majd az éles jövőben.

Egy adat akkor használható fel tanításra vállalati környezetben, ha tiszta a jogi státusza.

• Személyes adatok (PII) eltávolítása: A gépi tanulási modellek (főleg a mély neuronhálók és LLM-ek) képesek memorizálni a bemeneti adatokat. Ha egy önéletrajz-szűrő modellbe bekerülnek a jelöltek pontos lakcímei és nevei, a modell ezeket akaratlanul is kiszivárogtathatja. Az anonimizálás (vagy pszeudonimizálás) a Data Engineering folyamat első lépése.
• Célhoz kötöttség (GDPR): Megfelelő-e az ügyfél hozzájárulása arra, hogy a vásárlási előzményeiből AI modellt tréningezzünk?

"Ügyfeleink sokszor mondják: 'Nincs elég adatunk az AI-hoz'. Amikor jobban megnézzük, kiderül, hogy adatuk rengeteg van, csak struktúrálatlan, hiányos, vagy rosszul van címkézve. Nem az Excel sorok száma (a Big Data) dönti el a sikert. Egy jól fókuszált, magas minőségű (ember által ellenőrzött), 500 soros Smart Data készleten betanított modell (pl. egy dokumentum-kivonatoló Finomhangolás) sokkal megbízhatóbb, drasztikusan magasabb ROI-t hoz a cégnek, mint egy 10 milliós, zajos halmazon összezavarodott óriásmodell." — Szabó Attila, Adatstratégiai és AI Szakértő

Mennyi adat az "elég"?
Nincs ökölszabály, a feladattól függ. Egy egyszerű LLM finomhangoláshoz (Prompt tuning formátumra) akár 100-200 magas minőségű példa is elég lehet. Egy robusztus számítógépes látás (Vision) modellhez a gyárban több ezer (lehetőleg minél többféle fényviszonyban fotózott) képre van szükség a selejtről, hogy a modell magabiztos legyen.

Ha nincs hibás adatom, tudok prediktív karbantartást (Predictive Maintenance) építeni?
Nagyon nehezen. Ha a gépek csak normál üzemben futnak az adathalmazban (nincs leállás), a klasszikus Supervised Learning nem működik, mert a gép nem tudja, milyen jeleket keressen a hiba előtt. Ilyenkor speciális "Anomália Észlelő" (Unsupervised) modelleket használunk, amik csak azt tanulják meg, hogy mi a "normális", és minden ettől eltérő rezgést riasztanak.