On-premise vagy felhős AI-rendszer?

Az IT vezetők gyakran két végletben gondolkodnak: "Minden felhőbe!" vagy "Semmi nem hagyhatja el az épületet!". Egy nagyvállalati AI rendszernél ez a merev gondolkodás vagy hatalmas költségeket, vagy használhatatlanul lassú megoldásokat szül.

Ha a vállalati adat nem hagyhatja el a saját környezetet, nézze meg on-premise AI szolgáltatásunkat: saját szerveren, private cloudban vagy air-gapped környezetben.

• Egy belső dokumentumkeresőhöz (RAG) teljesen más architektúra kell, mint egy másodpercenként 30 fotót elemző, gépi látásos selejt-kiszűrőhöz.
• Egy havi egyszer futó prediktív modellnél a felhő 90%-kal olcsóbb. Egy 24/7-ben működő LLM Agentnél az API költség 3 hónap alatt elégeti egy lokális szerver árát.

Itt az API-kon (OpenAI, Anthropic) vagy a hyperscalereken (AWS Bedrock, Azure OpenAI) keresztül hívjuk a modelleket.

A nyílt forráskódú modellek (Llama 3, Mistral, Qwen) rohamos fejlődésével az On-Premise (saját szervertermünkben futó) AI újra virágkorát éli.

• Szigorú Adatlokalitás: Kórházak (GDPR/HIPAA), hadiipar, banki rendszerek esetén az adat egy kábellel sem hagyhatja el az épületet. Az On-Premise (Air-Gapped) rendszer erre garancia.
• Kiszámítható költség (Flat Fee): Megvesszük a vasat (pl. Nvidia L40S szerver). Utána mindegy, hogy havi ezer vagy egymillió dokumentumot elemeztetünk a modellel, a költség fix (áram és hűtés).
• A felelősség ára: Ha az On-Prem szerver leáll, a cég IT csapata megy be éjjel javítani. Ha a modell driftel, saját MLOps csapatnak kell karbantartania. A "Biztonság" nem garantált önmagában attól, hogy a mi pincénkben van a gép – a hálózatot, jogosultságokat (IAM) itt is nekünk kell megépíteni.

A legérettebb vállalatok nem választanak, hanem ötvözik a kettőt: az AI Routing (Irányítás) segítségével.

Képzeljünk el egy vállalati Agentet. Ha egy dolgozó azt kéri tőle: "Foglald össze ezt az 50 oldalas, publikus iparági jelentést, és írj belőle frappáns blogposztot!" — a rendszer (RAG) az olcsó és kiemelkedően okos Felhős modellhez küldi a feladatot.

Ha a kérés az: "Olvasd ki az ügyfeleink TAJ számait és hitelminősítését ebből az adatbázisból, és készíts róla táblázatot!" — a rendszer a Policy alapján azonnal a Lokális (On-Premise) Llama 3 modellhez irányítja a promptot. Az adat bent marad. Ezt nevezzük Hibrid Architektúrának.

"Amikor a CIO azt mondja: 'Vegyetek két Nvidia H100-at, és rakjunk össze egy saját GPT-t', mindig megállítjuk. Egy On-Premise rendszer nem csak vas. Szoftverkörnyezet (vLLM, Ollama), konténerizáció, GPU driver frissítések és hőelvezetés. Aki még nem csinált ilyet, annak a 'saját AI' egy üzemeltetési rémálom lesz. A helyes út: Kezdjük privát felhőben (pl. Azure OpenAI zárt VNET-ben) API-kkal, hogy megtanuljuk, melyik modell mekkora terhelést kap. Ha kiderül az átlagos tokenszám, akkor már pontosan, Forintra kiszámolható, hogy megéri-e beruházni egy saját, 20 milliós szerverbe." — Udvarhelyi Dávid, AI Architect

Ha OpenAI API-t használok, a cégem adataiból fogják tanítani a ChatGPT-t?
Nem. Ha Enterprise szerződése van (Zero Data Retention Policy), vagy Azure OpenAI-t használ, az OpenAI / Microsoft szerződésben garantálja, hogy a kérésekből (Prompt) és a válaszokból nem tréningezik a jövőbeli modelleket.

Elég-e egy erős Gamer PC (pl. RTX 4090) az irodába On-Premise futtatáshoz?
Prototípus készítéséhez igen, kiváló. Éles (Production) üzemre, ahol 20-30 kolléga egyszerre kérdez az LLM-től, szigorúan nem. A gamer kártyák memóriája (VRAM) 24GB-ban limitált, ami a komolyabb modellekhez (pl. 70B paraméteresek) kevés, és a hardver nem bírja a 24/7 terhelést. Ide adatközponti kártyák (A100, L40) kellenek.

A telepítési modellek összehasonlítását és a bevezetés menetét a saját szerveren futó vállalati AI oldalon részletezzük.