Privát és lokális AI vállalatoknak

Sok vállalat nem azért halasztja az AI bevezetését, mert nincs megfelelő felhasználási eset. Az akadály gyakran az adatbiztonság. Ügyféladatok. Szerződések. Pénzügyi információk. Gyártási dokumentáció. Forráskód. Belső levelezés. Műszaki rajzok. HR-adatok. Üzleti titkok.

Ezeket nem lehet egyszerűen bemásolni egy tetszőleges publikus AI-szolgáltatásba.

A megoldás azonban nem feltétlenül az AI használatának tiltása. Az AI-rendszert kell úgy megtervezni, hogy az adat útja, tárolása, feldolgozása és jogosultsága kontrollálható legyen.

Az AI Hungáriánál publikus felhős modellektől a vállalati felhőben futó dedikált modelleken át a teljesen helyben, akár internetkapcsolat nélkül működő AI-rendszerekig tervezünk és fejlesztünk architektúrákat.

ENTERPRISE CLOUD · PRIVATE ENDPOINT · CUSTOMER VPC · ON-PREMISE · AIR-GAPPED · HYBRID AI

Az adatbiztonsági igény vállalatonként és feladatonként eltér. Egy nyilvános marketinganyag összefoglalása nem ugyanaz a kockázati kategória, mint egy ügyfélszerződés elemzése. Egy belső tudásbázis keresése más kontrollt igényel, mint egy gyártási receptúra vagy fejlesztési forráskód feldolgozása.

Ezért nem egyetlen infrastruktúrát erőltetünk minden problémára. A megfelelő architektúrát többek között az alábbiak alapján választjuk ki:

• milyen adatok kerülnek az AI elé
• elhagyhatja-e az adat a vállalat hálózatát
• használható-e külső felhőszolgáltató
• szükséges-e EU-régiós adatfeldolgozás
• kell-e teljes hálózati izoláció
• milyen modellminőség szükséges
• hány felhasználó használja egyszerre a rendszert
• milyen válaszidő szükséges
• mekkora a várható AI-forgalom
• szükséges-e auditálhatóság
• milyen rendelkezésre állás szükséges
• mekkora beruházási és havi üzemeltetési keret áll rendelkezésre

A cél nem az, hogy mindenáron mindent helyben futtassunk. A cél az, hogy minden adat csak olyan infrastruktúrára kerülhessen, amelyre a vállalat szabályai szerint kerülhet.

A leggyorsabb út, ha a vállalati szabályzat engedi a kontrollált felhős feldolgozást. Ebben a modellben a rendszer nagy, kereskedelmi AI-modelleket használ vállalati vagy enterprise konstrukcióban.

A megfelelő szolgáltatás kiválasztásánál vizsgálható többek között:

• felhasználják-e a promptokat vagy válaszokat modelltréninghez
• mennyi ideig történik adatmegőrzés
• melyik régióban történik a feldolgozás
• milyen titkosítási lehetőségek érhetők el
• támogatott-e privát hálózati kapcsolat
• milyen naplózási és auditfunkciók vannak
• kezelhető-e vállalati identitás és jogosultság
• milyen szerződéses és compliance feltételek érhetők el

Fontos különbség, hogy egy vállalati AI API nem feltétlenül jelent fizikailag külön modellt. Sok esetben ugyanazt az alapmodellt használja több ügyfél, miközben az adatok logikailag, hálózatilag és szerződésesen szeparáltak.

Előnyök: hozzáférés a legerősebb modellekhez; nincs saját GPU-infrastruktúra; gyors bevezetés; automatikusan skálázható; alacsony induló beruházás; több modell és szolgáltató kombinálható; könnyen cserélhető vagy route-olható modell.

Hátrányok: az adat külső infrastruktúrán kerül feldolgozásra; a szolgáltatói feltételeket és adatkezelést folyamatosan követni kell; használatalapú költség jelentkezik; bizonyos különösen érzékeny adatkategóriákhoz nem megfelelő.

Irányadó infrastruktúra-költség:
- Kis vagy közepes használat: kb. 10 000–300 000 Ft / hó
- Nagyobb vállalati használat: kb. 300 000–2 000 000+ Ft / hó

A költség itt jellemzően a tényleges modellhasználattal nő, ezért alacsony vagy változó terhelésnél ez gyakran a leggazdaságosabb megoldás.

A vállalat nem közvetlenül ad hozzáférést az AI-modellekhez. Az AI Gateway egy központi kontrollréteg a vállalati alkalmazások és az AI-modellek között. Minden AI-kérés ezen a rétegen halad át.

A gateway többek között képes:

• meghatározni, melyik modell használható
• blokkolni tiltott szolgáltatókat
• érzékeny adatot maszkolni vagy anonimizálni
• adatvédelmi osztály alapján modellt választani
• csak EU-régiós végpontot engedélyezni
• csapatonként vagy alkalmazásonként jogosultságot kezelni
• promptokat és válaszokat szabályok alapján naplózni
• költségkeretet alkalmazni
• szükség esetén lokális modellre route-olni
• kritikus esetben teljesen megtagadni a külső AI-hívást

Például:
PUBLIC DATA -> CLOUD FAST MODEL
INTERNAL DATA -> ENTERPRISE CLOUD MODEL
CONFIDENTIAL DATA -> PRIVATE MODEL
RESTRICTED DATA -> ON-PREMISE ONLY

A felhasználónak nem kell eldöntenie, melyik modellt szabad használnia. A vállalati policy dönt helyette.

Előnyök: központi adat- és modellkontroll; nem kell minden feladatot drága lokális modellen futtatni; több felhős és saját modell kombinálható; auditálható; egységes vállalati AI-hozzáférés; fokozatosan bevezethető.

Hátrányok: külön kontrollréteget kell fejleszteni és üzemeltetni; az adatklasszifikációt és policykat meg kell tervezni; rosszul kialakított routing esetén túl sok vagy túl kevés adat kerülhet külső modellhez.

Költség: A modellhasználat költsége az alkalmazott végpontoktól függ. A gateway tipikusan nem a legnagyobb infrastruktúra-költség, viszont fejlesztési és integrációs feladat. Nagyobb AI-használatnál a routing, cache és modellválasztás miatt akár jelentős havi megtakarítást is eredményezhet.

A modell a vállalat saját cloud környezetében fut. Ebben az architektúrában nem egy külső AI API-nak küldjük el az adatot. A modellt a vállalat saját AWS-, Azure-, Google Cloud-, DigitalOcean- vagy más privát cloud környezetében telepítjük.

A szolgáltatás privát hálózaton keresztül is elérhetővé tehető, publikus internetes endpoint nélkül. Használhatók például nyílt vagy letölthető modellek, amelyeket saját inference-rétegen futtatunk.

Előnyök: az infrastruktúra a vállalat cloud accountjában lehet; nagyfokú hálózati kontroll; saját titkosítási és IAM-rendszer; privát endpointok; saját logok és monitoring; nincs szükség promptok külső modell-API felé továbbítására; a modellverzió kontrollálható; RAG és vállalati tudásbázis teljesen privát környezetben tartható.

Hátrányok: GPU-kapacitást kell fenntartani; az infrastruktúrát monitorozni és frissíteni kell; kis terhelésnél drágább lehet, mint egy használatalapú API; a lokálisan futtatható modellek képessége feladattól függően elmaradhat a legnagyobb frontier modellektől.

Irányadó infrastruktúra-költség:
- Egy dedikált GPU-s inference node: kb. 250 000–1 500 000+ Ft / hó
- Nagy rendelkezésre állású vagy több-GPU-s rendszer: kb. 1–8+ millió Ft / hó

A tényleges ár erősen függ a GPU-tól, a folyamatos vagy időszakos futtatástól, a modelltől, a régiótól és a rendelkezésre állási követelményektől. Stabil, nagy volumenű használatnál a saját inference bizonyos esetekben gazdaságosabb lehet, mint a folyamatos prémium API-használat.

Az adat nem hagyja el a vállalat infrastruktúráját. A modell fizikailag a vállalat irodájában, szervertermében vagy saját adatközpontjában fut. A dokumentumok, embeddingek, vektoradatbázisok és modellkérések is helyben maradhatnak.

A rendszer a belső hálózaton keresztül szolgálhat ki például: vállalati AI-asszisztenst, belső dokumentumkeresőt, műszaki tudásbázist, szerződéselemző rendszert, forráskód-asszisztenst, gyártási AI-t, képfeldolgozást, belső chatbotot, lokális speech-to-text vagy OCR rendszert, AI-agenteket.

Mekkora szerver szükséges? Nem minden AI-rendszerhez kell több tízmillió forintos szerver. Egy kisebb, optimalizált modell már egy erős GPU-s munkaállomáson is képes vállalati feladatokat ellátni. A szükséges hardvert főleg három tényező határozza meg: a modell mérete, az egyszerre kiszolgált felhasználók száma, és az elvárt válaszsebesség.

Irányadó beruházási szintek:

• Kisebb lokális AI-munkaállomás: kb. 1,5–4 millió Ft egyszeri beruházás.
• Dedikált vállalati AI-szerver: kb. 4–15 millió Ft egyszeri beruházás.
• Több-GPU-s nagyvállalati inference infrastruktúra: kb. 15–60+ millió Ft.

Üzemeltetési költség: A hardver mellett számolni kell villamos energiával, hűtéssel, redundáns adattárolással, backup rendszerrel, monitoringgal, modellfrissítéssel, és operációs rendszer karbantartással. Egy kisebb helyi rendszer havi közvetlen infrastruktúra-költsége néhány tízezer forint is lehet, míg több-GPU-s, folyamatosan terhelt rendszer esetén több százezer vagy akár milliós havi üzemeltetési költség is kialakulhat.

Előnyök: az adat helyben marad; nincs külső AI API; fixebb és előre tervezhető költség; nagy volumen mellett gazdaságos lehet; nagyon alacsony hálózati latency; teljes infrastruktúra-kontroll; internetkimaradás mellett is működhet.

Hátrányok: jelentős induló beruházás; hardverüzemeltetés szükséges; a kapacitást előre kell méretezni; a GPU idővel elavul; nagyobb modellekhez komoly hardver szükséges; a legjobb publikus frontier modellek nem feltétlenül futtathatók helyben.

Amikor az AI-rendszernek semmilyen külső hálózati kapcsolata nem lehet. Bizonyos környezetekben még a privát cloud sem elfogadható. Ilyenkor az AI-infrastruktúra fizikailag vagy hálózatilag leválasztható a külső internetről.

A rendszer minden komponense helyben működik: nyelvi modell, embedding modell, vektoradatbázis, dokumentumfeldolgozás, OCR, speech-to-text, felhasználói felület, monitoring, autentikáció, audit. A modell- és szoftverfrissítések kontrollált, külön jóváhagyott folyamaton keresztül kerülnek a rendszerbe.

Tipikus felhasználási területek: kritikus infrastruktúra, védelmi és biztonsági környezet, különösen érzékeny K+F, ipari know-how, zárt gyártóhálózat, szigorúan szabályozott dokumentáció, olyan szervezet, ahol külső cloud használata tiltott.

Előnyök: maximális adatkontroll; nincs külső modellhívás; nincs internetes adatút; teljesen saját audit- és hozzáférési rendszer; hálózati szabályzattal egyszerűen bizonyítható izoláció.

Hátrányok: a legmagasabb bevezetési és üzemeltetési komplexitás; saját frissítési folyamat szükséges; a hardvert helyben kell biztosítani; külső szolgáltatások és frontier modellek nem használhatók közvetlenül.

Költség: A hardverigény hasonló az on-premise rendszerekhez, de az izoláció, redundancia, biztonsági folyamatok és offline üzemeltetés miatt a teljes projektköltség magasabb. Irányadó hardver: kb. 3–30+ millió Ft.

A hibrid AI gyakran jobb kompromisszum. Egy vállalat adatainak csak egy része különösen érzékeny. Ezért sok esetben indokolatlan minden AI-feladatot ugyanazon a drága, helyi infrastruktúrán futtatni. Egy hibrid architektúrában több végpont dolgozik együtt.

A routing történhet automatikusan: adatkategória, alkalmazás, felhasználói jogosultság, dokumentumtípus, részleg, feladat, modellképesség, költség, régió, latency vagy compliance szabály alapján. Így a legerősebb felhős modell használható ott, ahol megengedett, miközben az érzékeny adatok egyáltalán nem kerülnek ki a privát környezetből.

A modell mérete önmagában nem határozza meg egy vállalati AI-rendszer minőségét. Egy jól felépített rendszerben az AI nem pusztán „mindent tudó chatbot”.

A modell hozzáférhet: vállalati dokumentumokhoz, adatbázisokhoz, ERP-hez, CRM-hez, DMS-hez, ticketing rendszerhez, belső API-khoz, keresőhöz, strukturált üzleti adatokhoz. A releváns információt RAG, keresés, SQL vagy API-hívás biztosíthatja.

Ez azt jelenti, hogy egy kisebb, helyben futó modell sok jól definiált vállalati feladatban kiválóan használható, mert nem a modellnek kell „fejből tudnia” a vállalat működését. A tudás a vállalat rendszereiben marad.

A RAG is lehet teljesen privát
A vállalati tudásbázisok egyik leggyakoribb architektúrája a Retrieval-Augmented Generation, vagyis RAG. Egy privát RAG rendszerben helyben tartható: az eredeti dokumentum, a dokumentumfeldolgozás, az embedding modell, a vektoradatbázis, a keresés, a nyelvi modell, a válasz, a naplózás. A jogosultság dokumentum- vagy rekord-szinten is érvényesíthető.

Egy helyben futó modell is lehet rosszul védett. A teljes AI-rendszer biztonságát együtt kell kezelni.

• Identitás és jogosultság: SSO, vállalati identitás, RBAC és felhasználói jogosultságok.
• Dokumentumszintű hozzáférés: Az AI csak azt az adatot láthatja, amelyhez az adott felhasználó is hozzáfér.
• Titkosítás: Titkosítás adatátvitel közben és tároláskor.
• Network isolation: Private network, firewall, egress policy, private endpoint vagy teljes offline működés.
• Audit: Ki, mikor, milyen adatforrást használt és milyen műveletet indított.
• Adatminimalizálás: A modell csak a feladat megoldásához szükséges kontextust kapja meg.
• DLP és redaction: Érzékeny mezők felismerése, maszkolása vagy blokkolása modellhívás előtt.
• Human approval: Kritikus műveleteknél az AI javasolhat, de a végrehajtás emberi jóváhagyáshoz köthető.

A lokális vagy privát inference különösen indokolt, ha:

• a vállalati szabályzat tiltja érzékeny adatok külső AI-rendszerbe küldését
• üzleti titok vagy know-how kerül feldolgozásra
• forráskódot vagy fejlesztési dokumentációt elemez az AI
• személyes vagy különleges adatokat kezel a rendszer
• ipari vagy gyártási adatok dolgozhatók fel
• offline működés szükséges
• nagyon magas vagy kiszámítható AI-terhelés várható

Ugyanakkor nem javaslunk lokális infrastruktúrát csak azért, mert „biztonságosabban hangzik”. Saját GPU gyakran nem gazdaságos, ha:

• az AI-t csak néhány ember használja
• napi néhány száz kérés történik
• az adatok vállalati cloud AI-szolgáltatásban is kezelhetők
• a legmagasabb modellminőség szükséges
• a terhelés erősen ingadozó
• nincs belső infrastruktúra-üzemeltetési kapacitás

Az AI Hungáriánál nemcsak tanácsadást, hanem teljes end-to-end technológiai megoldást nyújtunk:

• Adat- és AI-biztonsági felmérés: Felmérjük, milyen adatokkal dolgozna az AI és milyen belső szabályoknak kell megfelelni.
• Cloud, private cloud vagy on-premise TCO összehasonlítás: Kiszámoljuk a legoptimálisabb költség-modellt.
• Lokális modell benchmark: Reprezentatív vállalati feladatokon mérjük össze a modelleket.
• On-premise AI infrastruktúra: Megtervezzük és kialakítjuk a teljes GPU-inference és RAG környezetet.
• Vállalati AI Gateway: Egyetlen kontrollált réteg mögé szervezzük a felhős, privát és on-premise modelleket.

Fontos a költségekről: Az oldalon szereplő összegek tájékoztató, nagyságrendi infrastruktúra-becslések. A tényleges költség függ a modell méretétől, a GPU-típustól, a felhasználók számától, a terheléstől és az adatbiztonsági követelményektől. A végleges architektúra és költség egy technikai felmérés után pontosítható.