Manapság mindenki a ChatGPT-ről és a nagy nyelvi modellekről beszél. De mi történik akkor, ha olyan dokumentumokkal dolgozunk, amelyek szigorúan bizalmasak? Üzleti szerződések, belsős pénzügyi jelentések vagy személyes adatok? Ezeket nem tölthetjük fel csak úgy a felhőbe egy nyilvános szerverre.
Ezért fejlesztettem le egy saját, teljesen lokális RAG (Retrieval-Augmented Generation) rendszert. A cél egyszerű volt: a legmodernebb AI képességeket használni úgy, hogy egyetlen bájtnyi adat se hagyja el a biztonságos infrastruktúrát.
Íme a folyamat, hogyan működik a „digitális páncélszekrényem”.
1. A „Zárt Doboz” Filozófia
A rendszerem alapköve a lokális futtatás. Nem a felhőben lévő API-kat hívjuk meg (ahol az adataink tanulóhalmazzá válhatnának), hanem saját hardveren futtatjuk az agyat (LLM) és a memóriát (Vektortár) is.
- Nincs internetes adatforgalom: A dokumentumok feldolgozása a saját gépen történik.
- Saját modellek: Olyan nyílt forráskódú modelleket (pl. Ollama-n keresztül) használok, amelyek elfutnak helyben, mégis kiválóan értik a magyar nyelvet.
2. Hogyan tanul a rendszer? (Az Indexelés)
Amikor feltöltünk egy PDF-et vagy Excel táblázatot, a rendszer nem csak „elolvassa”, hanem feldarabolja és megérti azt.
- Darabolás: A szöveget emészthető darabokra (chunk-okra) vágjuk.
- Hibrid Memória: Itt jön a technikai csavar. Nem bízom a véletlenre a keresést. A rendszerem egyszerre használ kulcsszavas keresést (mint egy klasszikus keresőmotor) és vektoros keresést (ami a szavak jelentését érti, nem csak az alakját). Így, ha azt keresem, hogy „költségcsökkentés”, megtalálja a „spórolás” szót tartalmazó részeket is.
3. A „Re-ranking”: A minőségbiztosítás
Sok AI rendszer ott bukik el, hogy túl sok, vagy pontatlan találatot ad. Az én megoldásom egy extra lépést iktat be: a Re-rankinget. Képzeljük el ezt úgy, mint egy szigorú szerkesztőt. A rendszer először összegyűjti a lehetséges válaszokat (mondjuk 30 találatot), majd ez a „szerkesztő” modell sorba rendezi őket aszerint, hogy melyik a ténylegesen releváns a kérdés szempontjából. Csak a legjobbak jutnak el a válaszadásig.
4. Válaszadás hallucinációk nélkül
Az egyik legnagyobb félelem az AI-val szemben, hogy „kitalál” dolgokat. A rendszeremet úgy programoztam, hogy szigorúan a kontextushoz ragaszkodjon. Amikor felteszek egy kérdést, a szoftver:
- Kikeresi a releváns bekezdéseket a titkos dokumentumokból.
- Odaadja a nyelvi modellnek.
- Kiadja az utasítást: „Csak ezekből az információkból válaszolj! Ha nincs benne a válasz, mondd azt, hogy nem tudod.”
5. Az eredmény: Jelentés gombnyomásra
A folyamat végén nemcsak egy chat-üzenetet kapunk. A rendszer képes arra, hogy a beszélgetésből és a talált forrásokból egy formázott, hivatalos PDF jelentést generáljon, hivatkozásokkal ellátva. Mindezt másodpercek alatt, emberi beavatkozás nélkül.
Ez a fejlesztés bizonyítja, hogy nem kell lemondanunk az AI kényelméről az adatbiztonság oltárán. Megfelelő architektúrával (Python, LangChain, Streamlit és lokális LLM-ek kombinációjával) építhető olyan asszisztens, amely okos, gyors, és ami a legfontosabb: tud titkot tartani.