Biztonság és AI governance

Az AI akkor használható intézményi szinten, ha kontrollálható.

Egy egyetemen nem elég, hogy egy AI-megoldás működik. Tudni kell, milyen adatokhoz fér hozzá, ki használhatja, mit csinálhat, hogyan ellenőrizhető és milyen szabályok vonatkoznak rá.

A GoSchool megoldásait ezekhez az intézményi követelményekhez igazítjuk.

A kockázatot a használat határozza meg.

Más követelményeket jelent egy kurzusanyagból válaszoló tanulási asszisztens, egy belső adminisztratív tudáskereső és egy olyan AI-rendszer, amely embereket értékel vagy döntéseket támogat.

Ezért nem egyetlen általános „AI policyból” indulunk.

Minden use case-nél külön vizsgáljuk
  • milyen feladatot végez az AI
  • milyen adatokhoz fér hozzá
  • kik használják
  • milyen következménye lehet a válaszainak vagy döntéseinek
  • szükséges-e emberi ellenőrzés
  • milyen intézményi és jogszabályi követelmények vonatkoznak rá

Ki mit érhet el, nem az AI dönti el.

Jogosultságok

  • intézményi identity
  • SSO
  • szerepkörök
  • kurzus
  • szervezeti egység
  • konkrét adatforrások vagy funkciók

Az egyetem határozhatja meg

  • mely AI-funkciók használhatók
  • milyen adatok használhatók
  • milyen modellek kapcsolhatók be
  • milyen műveleteket végezhet egy agent
  • hol szükséges emberi jóváhagyás

Az intézményi adat nem automatikusan AI-adat.

Egy AI-integráció tervezésénél külön kezeljük azt, hogy milyen információt kell az AI-nak látnia ahhoz, hogy elvégezze a feladatát.

Alapelvünk a szükséges hozzáférés minimalizálása.

Ez jelentheti például
  • csak az adott kurzus anyagainak elérését
  • csak egy meghatározott intézményi adatforrás használatát
  • személyes adatok kizárását
  • szerepkörhöz kötött hozzáférést
  • érzékeny műveletek külön engedélyezését

A konkrét adatkezelési és üzemeltetési architektúrát az adott intézménnyel és use case-szel együtt alakítjuk ki.

Nem minden feladatot kell automatizálni.

A szerepét a feladat kockázatához igazítjuk. Ahol a következmények indokolják, az AI nem végső döntéshozó, hanem az ember munkáját támogatja.

Az AI lehet
  • információforrás
  • asszisztens
  • javaslattevő
  • munkafolyamat része
  • vagy bizonyos esetekben automatikusan működő agent

Egy hallgatói tutor válaszolhat önállóan egy tananyaggal kapcsolatos kérdésre.

Egy adminisztratív agent előkészíthet egy folyamatot.

Egy jelentős következménnyel járó döntésnél viszont szükség lehet emberi ellenőrzésre és jóváhagyásra.

Az intézménynek értenie kell, mit csinál a rendszer.

Az AI-megoldás kialakításánál törekszünk arra, hogy az intézmény számára követhető legyen:

  • milyen AI-modell működik a háttérben
  • milyen adatforrásokat használ
  • milyen rendszerhez kapcsolódik
  • milyen műveleteket végezhet
  • milyen hozzáférésekkel rendelkezik
  • hol történik emberi kontroll

Az adott rendszer és use case függvényében naplózás és auditálhatóság is része lehet a megoldásnak.

Nem egyetlen modellhez vagy deploymenthez kötjük az egyetemet.

A megfelelő technológiai megoldás függ a use case-től, az adatkezelési követelményektől, a szükséges modellképességektől, a meglévő intézményi infrastruktúrától és a költség- és üzemeltetési elvárásoktól.

Amitől függ
  • a use case
  • az adatkezelési követelmények
  • a szükséges modellképességek
  • a meglévő intézményi infrastruktúra
  • a költség- és üzemeltetési elvárások
Ez lehet
  • managed cloud szolgáltatás
  • privátabb infrastruktúra
  • intézményi követelményekhez választott modell
  • indokolt esetben on-prem megoldás

Nem abból indulunk ki, hogy minden intézménynek ugyanarra az architektúrára van szüksége.

Szabályozás

Az AI Act szempontjából is a konkrét alkalmazás számít.

Az EU AI Act kockázatalapú szabályozást alkalmaz.

Egy AI-rendszer besorolását ezért nem pusztán az határozza meg, hogy oktatásban vagy egyetemen használják, hanem elsősorban az, hogy mire használják és milyen hatással lehet az érintettekre.

Bizonyos oktatási alkalmazások — például a hozzáférést, felvételt vagy tanulói teljesítmény értékelését meghatározó AI-rendszerek — az AI Act magas kockázatú kategóriájába tartozhatnak. Más alkalmazásokra eltérő követelmények vonatkozhatnak.

Ezért minden intézményi bevezetésnél a konkrét use case-ből indulunk ki, nem egy általános kockázati címkéből.

Amit figyelembe veszünk
  • a rendszer célját
  • a felhasználók körét
  • az érintett adatokat
  • a rendszer által végzett vagy támogatott döntéseket
  • az emberi felügyelet szükségességét
  • az adott use case-re vonatkozó szabályozási követelményeket

A felelős AI-bevezetés nem csak technológiai feladat.

Az AI-rendszert használó embereknek is érteniük kell annak lehetőségeit és korlátait.

Ez különösen fontos egy egyetemen, ahol ugyanazt a technológiát hallgatók, oktatók, adminisztratív munkatársak, vezetők és IT-szakemberek nagyon különböző célokra használják.

Az intézményi bevezetés része lehet
  • oktatói AI-képzés
  • munkatársi képzés
  • vezetői workshop
  • use case-specifikus felkészítés
  • AI governance kialakítása
  • használati irányelvek kidolgozása

Az AI literacy az EU AI Actben is megjelenő intézményi kötelezettség a rendszereket működtető és használó szervezetek számára.

A governance nem a projekt végén kerül rá a rendszerre.

Egy új AI use case-nél már a tervezés elején végigvesszük:

  1. Mit akarunk elérni?

    Mi a valódi probléma, és kell-e hozzá egyáltalán AI?

  2. Mihez kell hozzáférnie?

    Milyen adat és milyen rendszerfunkció szükséges a feladathoz?

  3. Mit tehet önállóan?

    Hol elég az AI javaslata, hol végezhet műveletet, és hol kell emberi kontroll?

  4. Ki használhatja?

    Milyen szerepkörök és jogosultságok szükségesek?

  5. Hogyan ellenőrizhető?

    Milyen naplózás, visszakövethetőség vagy felügyelet indokolt?

  6. Hogyan vezetjük be?

    Pilotban kipróbáljuk, mérjük és csak azt skálázzuk, ami valóban működik.

Van egy AI use case, amit intézményi környezetben kellene megoldani?

Nézzük meg együtt a technológiai, adatkezelési és szervezeti feltételeit.