Americký Národný inštitút pre štandardy a technológie (NIST) pripravuje nové rizikové usmernenia pre systémy umelej inteligencie v rámci iniciatívy COSAiS (Consortium for the Security of AI Systems). Tieto usmernenia budú mať globálny dosah a ovplyvnia aj európske organizácie.
Kľúčové oblasti usmernení
NIST sa zameriava na tri hlavné piliere bezpečnosti AI systémov:
- Odolnosť voči útokom — AI modely sú zraniteľné voči adversarial útokom, data poisoningu a model stealing. Usmernenia definujú minimálne bezpečnostné požiadavky na ochranu modelov počas trénovania aj nasadenia.
- Životný cyklus modelu — bezpečnosť musí byť integrovaná do celého životného cyklu AI systému — od zberu trénovacích dát cez vývoj, testovanie až po prevádzku a vyraďovanie.
- Testovanie a validácia — štandardizované postupy na overovanie robustnosti, spoľahlivosti a bezpečnosti AI systémov pred ich nasadením do produkcie.
Dopad na európske organizácie
Hoci ide o americké usmernenia, NIST štandardy tradične ovplyvňujú medzinárodnú prax. V kontexte európskeho AI Act môžu slúžiť ako referenčný rámec pre hodnotenie rizík a implementáciu bezpečnostných opatrení.
Organizácie, ktoré využívajú alebo plánujú nasadiť AI systémy, by mali sledovať vývoj týchto usmernení a začať s hodnotením bezpečnostných rizík svojich AI riešení.
Tento článok je súčasťou pravidelného Cyllium Newslettera. Prihláste sa na odber a dostávajte aktuálne informácie priamo do vášho inboxu.
#ManažérKybernetickejBezpečnosti #AuditKybernetickejBezpečnosti #RiadenieKybernetickejBezpečnosti