Tento článek shrnuje informace z webináře o integraci managementu AI, informační bezpečnosti a ochrany soukromí ze dne 25.2.2025. Webinář se zaměřil na systémy AI a systémy managementu AI (AIMS) dle ISO/IEC 42001, cíle a opatření ve vztahu k systémům AI, vztahy mezi normami ISO/IEC 42001, ISO/IEC 27001 a ISO/IEC 27701 a specifické bezpečnostní hrozby a selhání v systémech AI.
Systémy AI a systémy managementu AI (AIMS) dle ISO/IEC 42001
Systém umělé inteligence (AI) je inženýrský systém, který generuje výstupy, jako je obsah, predikce, doporučení nebo rozhodnutí pro daný soubor cílů definovaných člověkem. Může využívat různé techniky a přístupy související s AI k vývoji modelu pro reprezentaci dat, znalostí a procesů.
Systém managementu AI (AIMS) je soubor vzájemně propojených nebo vzájemně působících prvků organizace určených ke stanovení politik a cílů a procesů k dosažení těchto cílů ve vztahu k odpovědnému vývoji, poskytování nebo používání systémů AI.
Norma ISO/IEC 42001 specifikuje požadavky na vytvoření, zavedení, provozování a neustálé zlepšování AIMS. Je určena organizacím, které vyvíjejí, poskytují nebo používají produkty či služby založené na systémech AI.
Cíle a opatření ve vztahu k systémům AI
Organizace mají různé cíle související s AI, jako je odpovědnost, odbornost v oblasti AI, dostupnost a kvalita dat, dopad na životní prostředí, spravedlnost, udržitelnost, ochrana soukromí, robustnost, bezpečnost, transparentnost a vysvětlitelnost.
Zdroje rizik v oblasti AI zahrnují složitost prostředí, zdroje rizik související se strojovým učením, problémy životního cyklu systému, úroveň automatizace, problémy s hardwarem systému, nedostatečnou transparentnost a vysvětlitelnost.
Norma ISO/IEC 42001 obsahuje 38 referenčních opatření, která organizacím pomáhají dosáhnout cílů a zmírnit rizika v oblasti AI.
Vztahy mezi normami ISO/IEC 42001, ISO/IEC 27001 a ISO/IEC 27701
Norma ISO/IEC 42001 se zaměřuje na management AI, ale zdůrazňuje i význam integrace s obecnými nebo odvětvovými standardy systémů managementu, jako jsou ISO/IEC 27001 pro informační bezpečnost a ISO/IEC 27701 pro ochranu soukromí.
Integrace AIMS s ISMS dle ISO/IEC 27001 umožňuje organizacím systematicky řešit rámec klasických otázek informační a systémové bezpečnosti, ale i nové, pro systémy AI specifické bezpečnostní otázky. Integrace AIMS s PIMS dle ISO/IEC 27701 umožňuje organizacím efektivně řešit povinnosti týkající se ochrany soukromí.
Specifické bezpečnostní hrozby a selhání v systémech AI
Norma ISO/IEC DIS 27090 poskytuje pokyny k řešení bezpečnostních hrozeb a selhání specifických pro systémy AI. Cílem je poskytnout organizacím informace o hrozbách, popisy způsobů, jak je odhalit a zmírnit.
Mezi hrozby pro systémy AI patří útok na otrávení dat, útok úhybným manévrem, odhalení člena, exfiltrace modelu, inverze modelu, přímá otrava modelu, přímá krádež modelu, přímý únik dat, únik vstupních dat modelu, citlivé výstupy modelu, injection na vstupu a výstup obsahující útoky typu injection.
Závěr
Systémy AI jsou stále více využívány v různých odvětvích a organizace musí řešit související rizika a výzvy. Norma ISO/IEC 42001 a další relevantní normy poskytují organizacím rámec pro efektivní management AI, soulad s Aktem EU o umělé inteligenci a dosažení cílů v oblasti AI.