Otevřený dopis: jasné regule využívání umělé inteligence

Spolu s dalšími 61 organizacemi žádáme Evropskou komisi tímto otevřeným dopisem o jasné regule pro využívání umělé inteligence (AI). „Počítačové rozhodování“ může lecjak osekat práva a základní svobody nás občanů. Unijní pravidla pro AI budou na stole během následujících měsíců.

• Oficiální tisková zpráva k otevřenému dopisu
• Originální dopis

Vážená výkonná místopředsedkyně Vestagerová,
vážená místopředsedkyně Jourová,
vážený komisaři Bretone,
vážená komisařko Dalli,
vážený komisaři Reynders,
vážená komisařko Johanssonová,
na vědomí Lucille Sioli, na vědomí Juhovi Heikkiläovi,

Otevřený dopis: Výzva občanské společnosti ke stanovení pevných hranic v návrhu Evropské unie o umělé inteligenci

My, níže podepsaní, bychom tímto dopisem chtěli zopakovat, že je zásadní nastavit jasné a nepřekročitelné hranice tak, aby bylo zabráněno narušování základních lidských práv využíváním umělé inteligence. Zatímco očekáváme návrh nařízení o umělé inteligenci, který má vyjít tento kvartál, zdůrazňujeme, že takováto opatření tvoří nezbytnou součást pro regulaci umělé inteligence na bázi základních lidských práv.

Podle Charty základních práv EU má Evropa povinnost zajistit, že právo každé osoby na soukromí, na ochranu údajů, na svobodu projevu a shromáždění, právo nebýt diskriminována, právo na důstojnost ani žádná jiná základní práva nebudou nepřiměřeně omezována používáním nových a vznikajících technologií. Bez vhodných omezení pro používání technologií založených na AI čelíme riziku, že naše práva a svobody budou narušovány jak státními orgány, tak soukromými společnostmi.

Evropa má příležitost ukázat světu, že lze docílit inovace se společenským přínosem, pouze pokud zajistíme ochranu před nejškodlivějšími a nejohavnějšími prohřešky vůči lidským právům. Pro evropská průmyslová odvětví – od vývojářů AI po výrobce automobilů – bude mít velký přínos jistota, že jsou právní nařízení jasně nastavena a že existuje férové prostředí pro konkurenční boj.

Občanská společnost napříč Evropou – i světem – již upozorňovala na potřebu regulovat nasazování umělé inteligence nepřiměřeně omezující lidská práva. Je potřeba, aby kromě posudků dopadu na lidská práva, transparentnosti software a dostupnosti datových sad pro kontrolu veřejností bylo také v nově navrhovaném nařízení jasně vymezeno, co je považováno za zákonné použití AI, aby byla jednoznačně pokryta tato témata:

• umožňování masového biometrické dohlížení a monitorování na veřejných prostranstvích;
• prohlubování strukturní diskriminace, exkluzí jedinců a kolektivních škod;
• omezování a diskriminace v přístupu k nezbytným službám, jako jsou zdravotní a sociální služby;
• dohled na zaměstnance a narušování základních práv pracujících;
• ztěžování přístupu ke spravedlnosti a k procesním právům;
• využívání systémů, které vytvářejí úsudky a předpovědi o našich nejcitlivějších rysech, činech a myšlenkách;
• a především manipulace či řízení lidského chování a související hrozby pro lidskou důstojnost, svéprávnost a kolektivní demokracii.

Zejména upozorňujeme na tyto konkrétní (ale nikoliv vyčerpávající) příklady použití, které dle našeho výzkumu nejsou slučitelné s demokratickou společností, a proto musejí být v legislativě o AI zakázány nebo právně omezeny:

1 / Masové biometrické dohlížení:
Použití technologií biometrického dohlížení pro zpracování osobních údajů, které jsou sbírány nerozlišeným nebo nahodilým způsobem ve veřejně přístupných prostranstvích (například vzdálené rozpoznávání obličejů), umožňuje masové sledování populace a působí „chladivým efektem“ na základní práva a svobody osob. Je nutné poznamenat, že jakékoliv nasazení biometrického dohlížení na veřejná nebo veřejně přístupná prostranství je již z definice případem masového, nerozlišeného zpracování biometrických údajů. Takové použití masového biometrického sledování zasahuje do psychologické integrity a duševní rovnováhy jednotlivců a zároveň je narušením mnoha různých základních práv.

Jak bylo zdůrazněno v legislativě a judikatuře EU na ochranu osobních údajů, takové použití není nezbytné ani přiměřené pro požadovaný účel, a proto musí být legislativou o AI jasně a explicitně zakázáno jako nerozlišené nebo nahodilé používání biometrik, které může vést k masovému sledování. Tím bude zajištěno, že policejní složky, státní orgány a soukromé subjekty nebudou moci zneužívat široké spektrum výjimek a nejasně definovaných případů, které současné právní principy vytvářejí.

2 / Používání AI na hranicích a při imigrační kontrole:
Rostoucí množství případů nasazování AI na poli migračních kontrol představuje rostoucí ohrožení základních práv migrantů, zákonů Evropské unie a lidské důstojnosti. Mimo jiné znepokojující případy použití je tak například AI testováno na údajné detekování lží pro účely žádostí o imigraci přes evropské hranice a na monitorování poctivosti při zkouškách z angličtiny pomocí analýzy hlasu, což jsou metody nepodložené věrohodným vědeckým výzkumem. Zásady EU pro migraci jsou navíc stále více postaveny na systémech AI, jako jsou nástroje na rozpoznávání obličejů, algoritmické profilování a předvídání, používaných v procesech řízení migrace včetně nucených deportací.

Všechny tyto způsoby použití narušují práva na ochranu osobních údajů, právo na soukromí, právo nebýt diskriminován a několik principů mezinárodního migračního práva včetně práva žádat o azyl. Na tak významnou nerovnováhu moci, kterou takto nasazované systémy prohlubují a zneužívají, by měl zákon reagovat zavedením nejpřísnějších podmínek, například zákazem použití takových systémů pro ochranu hranic a řízení migrace.

3 / Sociální skóre a rozhodování AI o přístupu k sociálním službám a podpoře:
Systémy AI byly nasazeny v různých kontextech takovým způsobem, který ohrožuje rozdělení sociálních a hospodářských práv a podpory. Například v oblasti rozdělování sociální péče, posuzování způsobilosti a detekce podvodů je nasazením AI pro předvídání rizika významně dotčen přístup osob k nezbytným veřejným službám a může mít závažný dopad na základní právo na sociální zabezpečení a asistenci. Vychází to z pravděpodobnosti diskriminujícího profilování, chybných výsledků a   fundamentálních rizik vyplývajících z podstaty zpracovávání citlivých biometrických údajů.

Několik příkladů ukazuje, jak se automatizované rozhodovací systémy negativně dotýkají chudých, migrantů a lidí z nižších sociálních vrstev, například nasazení SyRI v Nizozemsku nebo používání daty řízených systémů v Polsku k profilování nezaměstnaných, což má závažné důsledky pro ochranu osobních údajů a právo nebýt diskriminován.

Používání v kontextu zaměstnání a vzdělávání dále ukázalo vysoce rušivé sledování zaměstnanců a studentů včetně systémů sociálního skóre, intenzivního monitorování kvůli výkonnostním cílům a dalších opatření, která omezují autonomii práce, narušují duševní rovnováhu a omezují soukromí a základní práva zaměstnanců i studentů. Rovněž se objevily případy diskriminujícího používání technologií AI proti osobám s tělesným postižením veřejnými i soukromými subjekty při rozdělování sociální podpory a přístupu ke vzdělání. Vznikající legislativní návrh musí právně omezit takové použití a nasazení AI, které nepřiměřeně narušuje přístup k sociálním službám a podpoře.

4 / Prediktivní potírání zločinu:
Při používání prediktivních modelů, které předpovídají, kde a kým mohou být pravděpodobně spáchány určité typy zločinů, získávají opakovaně vysoké skóre předpokládané budoucí kriminality oblasti s lidmi nízkých příjmů, s lidmi nižších sociálních vrstev, s radikalizovanými lidmi a s migranty. Jak upozorňoval Evropský parlament, nasazení takových prediktivních systémů může mít za následek „závažné zneužívání“. Používání zdánlivě „neutrálních“ faktorů, jako jsou poštovní směrovací čísla, v praxi skrývá hodnocení podle rasy a dalších chráněných rysů, což odráží historicky zvýšené vymáhání zákona v některých oblastech, prohlubuje rasové předsudky a dodává falešný pocit objektivity vzorcům rasového profilování.

U mnohých systémů pro prediktivní potírání zločinu bylo prokázáno neúměrně vysoké zahrnování lidí vnímaných jako rasové menšiny, zcela v rozporu se skutečnou mírou zločinu. Systémy prediktivního potírání zločinu podlamují presumpci neviny a další práva na náležité procesy tím, že označují jedince jako podezřelé na základě úsudků o širší skupině. Evropská komise musí zákonem zakázat nasazování systémů pro prediktivní potírání zločinu, aby bylo možné chránit základní lidská práva.

5 / Používání nástrojů pro hodnocení rizika v systému trestního soudnictví a v kontextu předcházejícím soudnímu řízení:
Používání algoritmů v záležitostech trestního soudnictví k profilování jednotlivců představuje závažné ohrožení základních lidských práv. Tyto nástroje zakládají své úsudky na rozsáhlé kolekci osobních údajů, které nesouvisejí s údajným proviněním obžalovaného. Toto sbírání osobních údajů pro účely předvídání rizika recidivy nelze považovat za nezbytné ani přiměřené pro takto vnímaný účel, zvláště s ohledem na důsledky na právo respektování soukromého života a presumpci neviny.

Přesvědčivé důkazy navíc ukazují, že zavedení takových systémů do systémů trestního soudnictví v Evropě i jinde vedlo k nespravedlivým a diskriminujícím rozhodnutím. Úsudky systému s AI, které vedou k danému rozhodnutí, mohou být dále pro právníka zcela nepochopitelné. Proto zastáváme názor, že musí být nastavena jistá právní omezení pro systémy umělé inteligence na posuzování rizik v kontextu trestního soudnictví.

Tyto příklady vykreslují, proč je v roce 2021 potřeba ambiciózní návrh pro umělou inteligenci, který do popředí umístí lidská práva a svobody. Podepsaní pod tento dopis se dožadují, aby legislativní návrh o umělé inteligenci obsahoval:

1) Výslovný zákaz nerozlišeného nebo nahodile cíleného používání biometrik, které může vést k masovému sledování.
2) Právní omezení nebo právně nepřekročitelné hranice pro takové používání, které porušuje základní lidská práva, jako je například používání AI při kontrole hranic, prediktivní potírání zločinu, systémy pro omezování přístupu ke sociálním službám a benefitům, nástroje na posuzování rizik v kontextu trestního soudnictví a další.
3) Výslovné zahrnutí opomíjených a dotčených skupin lidí v budoucím vývoji legislativy a zásad Evropské unie o AI.

Doufáme v legislativu, která dá lidi na první místo, a čekáme Vaše vyjádření, jakým způsobem bude návrh o AI řešit záležitosti vytyčené v tomto dopise.

Dne 12. ledna 2021
S úctou,
61 digitálně-právních organizací (celý seznam zde)