Nařízení regulující využívání umělé inteligence musí chránit migranty a migrantky

Autor Zveřejněno dne

Téměř dvě stě organizací včetně té naší ve společném prohlášení požaduje, aby tzv. „AI Act“ více myslel i na marginalizované skupiny obyvatel, kterými jsou například migranti a migrantky. Využívání systémů umělé inteligence v kontextu migrace totiž nápadně připomíná ty nejtemnější dystopické vize (monitorované společnosti),a je proto potřeba se proti takovým praktikám vymezovat.

Přinášíme český překlad prohlášení.

Nová legislativa Evropské unie za regulaci využívání umělé inteligence musí chránit migranty a migrantky

Nové nařízení EU s názvem Artificial Intelligence Act (AI Act) má regulovat vývoj a využívání vysoce rizikových typů umělé inteligence a cílí na podporu a nástup “důvěryhodné umělé inteligence”. Zároveň dbá na ochranu práv těch, kteří jsou těmito systémy zasažitelní.

Původní návrh ovšem nedostatečně ošetřuje problematiku využívání umělé inteligence v kontextu migrace, a tedy neumožňuje ochranu práv, která jsou během migrace dotčena. Zatímco státy a instituce často propagují využívání umělé inteligence pro výhody, které tím plynou pro většinovou společnost, jejich využívání tvrdě dopadá na marginalizované skupiny obyvatel, v tomto případě na lidi, kteří jsou tzv. v pohybu (migrující, žádající o azyl, mají uprchlický status). V jejich případě využívání umělé inteligence spadá do obecného diskriminačního rámce sledování, a priori kriminalizace, strukturální diskriminace a na ní navázaného násilí.

Je proto nezbytné, aby AI act dokázal před škodlivým využíváním systémů umělé inteligence ochránit všechny, nehledě na jejich status. My, jako níže podepsané organizace nebo jednotlivci, žádáme Evropský parlament, Evropskou komisi, Radu Evropské unie a jednotlivé členské státy EU, aby zajistily, že nová legislativa dokáže ochránit všechny lidi, včetně těch, kteří se kvůli svému statutu migranta či migrantky staly marginalizovanou společenskou skupinou a vypadávají proto ze systému ochrany platného pro tzv. většinovou společnost. Ke stávajícímu návrhu doporučujeme doplnit následující dodatky:

1) Zákaz nepřijatelného využívání systémů umělé inteligence v kontextu migrace

Některé systémy umělé inteligence představují nepřijatelné riziko pro naše základní práva, které nebude nikdy možné odstranit technickými prostředky nebo procedurálními zabezpečeními, ale jedině cestou závazné legislativy. Návrh v současné podobě zakazuje některá využití AI, ale jiná, jako například ta využívaná v kontextu pohraničních kontrol nebo v migračních centrech, nechává bez povšimnutí, navzdory jejich nebezpečí vzniku nenávratné újmy na straně migrujících.

Je potřeba zakázat následující:

  • Prognostické analytické systémy využívané pro zákaz, omezení nebo prevenci migrace.
    Tyto systémy vytvářejí prognostiky o místech, kde je vysoké riziko „neobvyklé migrace“ a jsou potenciálně využívány k usnadnění preventivních nařízení zákazu nebo zastavení pohybu, které často vytváří tzv. třetí země vedené jako „gatekeepeři“ na evropských hranicích. Tyto systémy mohou být využívány k represivním či hanlivým a nekorektním nařízením během hraničních kontrol a které znemožňují lidem žádat o azyl, vystavují je riziku navrácení (refoulement), odnímají jim právo na svobodný pohyb a v souhrnu představují riziko pro lidské právo na život, svobodu a bezpečí.
  • Automatické systémy vyhodnocování rizik a profilační systémy. Tyto systémy se využívají při vyhodnocování, zda migrující osoby představují riziko nezákonného jednání nebo ohrožení bezpečnosti. Tyto systémy jsou bytostně diskriminační, předsudečné a vyhodnocují lidi na bázi faktorů, které tito lidé nemohou ovlivnit. Využívání těchto systémů porušuje právo na rovné zacházení, presumpci neviny a lidskou důstojnost. V důsledku mohou vést k narušení práva na práci, svobodu (kvůli nezákonnému věznění), právo na spravedlivý proces, sociální zabezpečení nebo zdraví.
  • Systémy na rozpoznávání emocí a biometrické kategorizace. Systémy jako je „detektor lži“ na bázi AI představují pseudo-vědecké technologie, které údajně dokáží odvodit emoce z biometrických dat. Tyto behaviorální analytiky jsou následně využívány k odhalování „podezřelých“ jednotlivců na základě toho, jak vypadají. Jejich používání posiluje rasově podmíněnou podezíravost vůči migrantům a migrantkám a může automatizovat diskriminující předpoklady.
  • Systémy vzdálené biometrické identifikace (Remote Biometric Identification, RBI) využívané na hranicích a v prostoru detenčních zařízení (bezprostředním i k nim přiléhajícím). AI Act by měl formulovat zákaz využívání systému vzdálené biometrické identifikace (jako je rozpoznávání tváří), aby se zamezilo dystopickým scénářům, ve kterých mohou technologie prostřednictvím systematického monitorování hraničních oblastí zastrašovat a vytvářet tak širší režim zabraňování v pohybu tím, že znemožní lidem usilovat o azyl v jiných zemích a zároveň podkope závazky, které mají členské státy vůči mezinárodnímu právu, zejména vůči právu na tzv. nenávratnost (non-refoulement).

2) Rozšířit seznam vysoce rizikových systémů využívaných v kontextu migrace

Přestože současný návrh zmiňuje v Příloze III využívání „vysoce rizikových“ systémů umělé inteligence v kontextu migrace a hraničních kontrol, nepostihuje tím všechny systémy využívající princip umělé inteligence, které mají zásadní dopad na práva migrantů a migrantek a které by měly podléhat dohledu a nařízením o transparentnosti.

Aby bylo zajištěno, že budou regulovány všechny AI systémy využívané v kontextu migrace, musí být do seznamu vysoce rizikových systémů uvedených v oddílu III doplněny následující systémy:

  • Systémy biometrické identifikace. Systémy biometrické identifikace, jako například přenosné skenery otisků prstů se s narůstající četností využívají během kontrol totožnosti, a to jak na hranicích s EU, tak v jejím rámci. Jejich využívání usnadňuje a navyšuje nezákonné a poškozující praktiky rasové profilace, kdy se rasa, etnicita nebo barva kůže stává proměnnou pro osobnostní status migranta/ky. Tyto praktiky vedou k diskriminačnímu jednání.
  • Využívání systémů umělé inteligence k monitoringu pohraničních oblastí a ke sledování. Kvůli neexistenci bezpečných a standardních cest do prostoru EU budou lidé nadále překračovat hranice EU nezvyklými způsoby. Úřední orgány s narůstající měrou využívají systémů umělé inteligence k zevšeobecňujícímu a nerozlišujícímu dohledu na hranicích, prostřednictvím skenovacích dronů nebo termálních kamer. Využívání těchto technologií může způsobovat násilné střety na hranicích a usnadňuje kolektivní vyhošťování. Dochází tedy ke strukturálním nespravedlnostem.
  • Prognostické analytické systémy využívané v kontextu migrace, žádání o azyl či pohraničních kontrol. Systémy, které vytvářejí predikce týkající se migračních proudů, mohou mít dalekosáhlé dopady na základní práva a přístup k mezinárodní ochraně. Tyto systémy často ovlivňují, jak jsou v kontextu migračních kontrol a mezinárodní ochrany vyhodnocovány a alokovány zdroje. Nesprávná vyhodnocení a závěry o migračních trendech stejně jako o potřebách přijetí budou mít zásadní dopad na připravenost členských států, ale zároveň na pravděpodobnost, že jednotlivci budou mít přístup k prostředkům mezinárodní ochrany a řadě dalších základních práv. I proto by měly být tyto systémy vyhodnoceny jako vysoce rizikové.

3) Zajistit, že se AI Act vztahuje na všechny vysoce rizikové systémy využívané v migračním kontextu, včetně těch, které jsou využívány jako součást IT systémů EU

Článek 83 nařízení obsahuje soupis pravidel pro systémy umělé inteligence, které jsou již v době nabytí účinnosti legislativy na trhu dostupné. Obsahuje ovšem vynětí pro systémy umělé inteligence, které tvoří součást rozsáhlých IT systémů, které v kontextu migrace využívají orgány spadající pod EU, jako například Eurodac, Schengenský informační systém a ETIAS (a další migrační databáze, specifikované v Anexu IX AI Act). Všechny tyto IT systémy využívají automatické zpracování osobních a citlivých dat, systémy automatizovaného vyhodnocování rizik nebo technologie biometrické identifikace. EU například plánuje v příštích letech nařídit povinnost nechat překontrolovat všechna platná víza a další „cestovní autorizace“ žadatelů prostřednictvím automatizované profilace rizik. EU také zvažuje rozšířit databázi Eurodac o zpracovávání fotografií tváří v databázích žadatelů o azyl.

Tím, že AI act tyto databáze vyjímá z rizikových systémů umělé inteligence, narušuje bezpečnostní závazky, který má AI act jako celek zajišťovat. Zprošťuje tyto systémy a databáze povinnosti kontroly a vytváří tak dvojí standard v oblasti ochrany základních práv.

Evropský AI Act by měl být doplněn tak, aby článek 83 zahrnoval pod stejná pravidla pro vysoce rizikové systémy i databáze z IT systému spadající pod orgány EU a zajistil ochranu základních práv všech, bez ohledu na jejich status migranta/migrantky.

4) Zajistit transparentnost a opatření veřejného dohledu

Lidé ovlivnění vysoce rizikovými systémy umělé inteligence musí být schopni porozumět, doptat se, vznést námitku a žádat nápravu, když během využití těchto systémů dojde k porušení jejich práv. V kontextu migrace je tento požadavek zároveň urgentní i nezbytný, protože mezi těmi, kteří využívají AI systémy a těmi, kdo tyto systémy sledují, existuje zásadní mocenská nerovnost.

EU AI act musí být opatřením, které bude primárně bránit újmě způsobené užíváním AI systémů, a to včetně kontextu migrace a pohraničních kontrol, zajišťovat obecnou transparentnost a zmocňovat lidi k tomu, aby se mohli domáhat spravedlnosti. Je proto potřeba k návrhu dodat následující:

  • Povinnost pro uživatele vysoce rizikových systémů umělé inteligence zavést a vydat fundamental rights impact assessment (FRIA) před samotným zavedením takových systémů, a zároveň i v průběhu jejich veškerého dalšího využívání.
  • Zajistit podmínku pro úřední orgány, aby registrovaly každé využití vysoce rizikových systémů a veškerého veřejného užití v kontextu azylové a migrační politiky a pohraniční agendy v EU databázích. Veřejná transparentnost je nezbytná pro efektivní dohled, zejména v oblasti migrace, kde je v ohrožení řada základních práv. Je proto klíčové, aby nová legislativa neumožnila vyjmutí těchto záruk transparentnosti a dohledu.
  • Zahrnout mechanismy práv a odškodnění, které umožní lidem a skupinám porozumět, žádat o vysvětlení, podat stížnost nebo požadovat nápravu v případech, kdy dojde k porušení jejich práv ze strany systémů umělé inteligence. AI Act musí poskytovat efektivní metody ochrany pro postižené jedince nebo pro veřejně prospěšné organizace, které jednají v jejich prospěch.

Autoři návrhu: Access Now, European Digital Rights (EDRi), Platform for International Cooperation on Undocumented Migrants, and the Refugee Law Lab.