Přísnější regulace umělé inteligence: Co ukázal přezkum podle AI Act

Umělá inteligence je stále častěji předmětem evropské regulace. Evropská komise zveřejnila přezkum podle nařízení o umělé inteligenci a dospěla k závěru, že je zatím příliš brzy na rozšiřování seznamu zakázaných postupů nebo na změny stávajících pravidel. Ustanovení AIA týkající se zakázaných postupů totiž vstoupila v účinnost až 2. února 2025 a pravidla pro jejich vymáhání se dosud plně neuplatňují.

Další hodnocení AI bude možné až poté, co budou zákazy platit alespoň rok a objeví se praktické zkušenosti s jejich uplatňováním. Stejně tak bude možné lépe vyhodnotit fungování pravidel pro vysoce rizikové systémy AI. Evropská komise zároveň očekává, že regulační sandboxy vytvořené podle AIA pomohou získat poznatky o fungování právní úpravy a odhalit případné problémy s jejím výkladem.

Které systémy chce Evropská komise dále sledovat?

Podle přezkumu bude Evropská komise podrobněji sledovat několik kategorií systémů umělé inteligence, které mohou být v budoucnu zařazeny mezi zakázané postupy.

Patří mezi ně zejména:

• systémy AI určené k vývoji nebo šíření malwaru,
• systémy využívající temné vzorce a návykový design,
• systémy vytvářející materiály zobrazující pohlavní zneužívání dětí,
• systémy vytvářející intimní obsah bez souhlasu nebo škodlivý deepfake obsah,
• AI společníci a AI chatbot určený pro podporu duševního zdraví.

Evropská komise současně zvažuje rozšíření zákazu technologií rozpoznávání emocí i na další citlivé oblasti.

Které systémy mohou být označeny jako vysoce rizikové?

Přezkum se zaměřuje také na systémy, které by mohly být v budoucnu klasifikovány jako vysoce rizikové podle AI Act.

Jde například o:

• chatboty využívající AI pro svépomoc a terapii,
• systémy používané orgány veřejné moci při rozhodování o udělení oprávnění nebo povolení,
• systémy využívané při inkasu a vymáhání pohledávek,
• systémy AI používané k šíření politických dezinformací,
• AI společníky a chatboty určené pro podporu duševního zdraví,
• systémy využívané při posuzování rizik a stanovování cen v oblasti dalších druhů pojištění,
• systémy veřejné správy pro správu sociálního zabezpečení, sociálního bydlení a prověřování nájemníků,
• systémy ovlivňující rozhodování o reakcích na mimořádné situace s dopadem na bezpečnost a práva.

🔒 Co znamená přezkum v praxi?

Přestože Evropská komise v této fázi nedoporučuje změnu AIA, je zřejmé, že některým kategoriím systémů AI bude v následujících letech věnována zvýšená pozornost. Část z nich již dnes naráží na limity vyplývající z jiných právních předpisů, například z pravidel pro ochranu osobních údajů, trestního práva nebo ochrany spotřebitele.

Komise zároveň upozorňuje, že případná budoucí regulace prostřednictvím AIA bude relevantní především tehdy, pokud se stávající právní nástroje ukážou jako nedostatečné. U řady dalších systémů je jejich používání podle současného právního stavu v zásadě přípustné a jejich případné budoucí zařazení mezi zakázané nebo vysoce rizikové systémy AI zatím nelze předjímat.

Z pohledu nařízení GDPR je významné, že většina systémů, které chce Evropská komise dále sledovat, pracuje s osobními údaji nebo může významně ovlivnit práva fyzických osob. Pokud by některé z těchto kategorií byly v budoucnu zařazeny mezi vysoce rizikové systémy podle nařízení o umělé inteligenci, dopadly by na jejich poskytovatele i uživatele vedle povinností podle nařízení GDPR také další regulatorní požadavky vyplývající z AIA.

💡 Praktický tip

Pokud ve své organizaci řešíte generativní AI, využíváte nástroje jako OpenAI Chat nebo se zabýváte oblastmi, jako je etika umělé inteligence, ochrana osobních údajů, činnost pověřence pro ochranu osobních údajů, zásady ochrany osobních údajů nebo agenda Úřadu pro ochranu osobních údajů, vyplatí se další vývoj regulace umělé inteligence průběžně sledovat. Přezkum totiž ukazuje, kterým kategoriím systémů bude Evropská komise v dalších letech věnovat zvýšenou pozornost.

Doporučení

Protože Evropská komise bude v následujících letech vyhodnocovat fungování pravidel podle AI Act, vyplatí se průběžně sledovat odborné výklady i další vývoj evropské regulace. Jen tak lze včas zachytit případné změny, které mohou ovlivnit využívání systémů umělé inteligence v praxi.