Český Minority Report. Zmapovali jsme, jak policie pracuje s umělou inteligencí

Zveřejňujeme unikátní studii popisující využití nástrojů, které jsme dosud znali spíše ze sci-fi filmů. Jak jsme na tom v Česku s automatizovaným rozpoznáváním tváří, ale i zvuků či textů?

Již na začátku roku 2021 jsme zmapovali, jak se v České republice pracuje s technologiemi na rozpoznávání tváří (tzv. biometrické kamery). V průběhu roku 2023 jsme pak jako první přišli se zjištěním, že česká policie používá systém Digitální podoba osob, v jehož referenční databázi je téměř 20 milionů fotek z občanek a pasů.

Nyní přinášíme rozsáhlou studii s názvem:

Popisujeme v ní nebezpečí globální dystopie, přehledně vysvětlujeme současnou právní regulaci a mapujeme současné aplikace: dozvíte se tak nejen o tom, jak funguje kamerový systém na Letišti Václava Havla, ale i více o zmíněném systému Digitální podoba osob. Dojde ale i na popis dalších možných využití systémů umělé inteligence. Samotná kapitola (Výzkum a vývoj) je pak věnována tomu, jak jsou podobné systémy vyvíjeny.

Nechte se zlákat úvodem (níže) a pusťte se do čtení!

Uvedení do problematiky

Umělá inteligence se v posledním roce stala nejvíce diskutovanou technologií. Díky svému rychlému rozvoji nachází čím dál širší uplatnění při mnoha lidských činnostech. Výjimkou není ani využití umělé inteligence bezpečnostními složkami pro účely udržování veřejné bezpečnosti a vymáhání práva. Zapojení umělé inteligence do trestního řízení navíc požaduje také Nejvyšší státní zastupitelství. Ovšem využití umělé inteligence při zpracování osobních údajů bezpečnostními službami může snadno sklouznout k programům plošného sledování, což představuje závažné riziko pro práva a svobody obyvatel a pro samotné demokratické směřování společnosti. Tato publikace si klade za cíl zmapovat současný stav využití umělé inteligence Policií České republiky, a to především aplikací s potenciálem zásahu do základních práv.

První problém by mohl nastat již při vymezení pojmu umělá inteligence. Význam termínu umělá inteligence není vždy jednoznačný a jeho zákonná definice zatím chybí. Především nelze hovořit jen o jediném systému umělé inteligence, ale jedná se o celou řadu různých postupů a technik a jejich vzájemných kombinací. Nejčastěji se jedná o přístupy známé jako strojové učení, neuronové sítě, dobývání znalostí (tzv. data mining), zpracování přirozeného jazyka (tzv. natural language processing), bayesovské sítě nebo evoluční algoritmy. Přesto je někdy pod souhrnný pojem umělá inteligence zahrnována širší paleta postupů. Pro účely této publikace jsou systémy umělé inteligence chápány jako informační postupy a techniky řešící komplexní úlohy, jako jsou rozpoznávání či klasifikace, zejména v oblastech zpracování obrazu, psaného textu či mluveného jazyka, nebo při plánování či řízení na základě zpracování velkých objemů dat. Takovéto vymezení systémů umělé inteligence zahrnuje nejen systémy schopné samostatně přizpůsobovat své jednání na základě vyhodnocení výsledků předchozích akcí, ale také systémy využívající mnohem jednodušší informační operace.

Pozornost je v této publikaci kladena na systémy, které jsou používané k dohledu a plošnému sledování, a které tudíž mají potenciál zasáhnout do základních práv. Blíže je tudíž věnována pozornost systémům umělé inteligence, které nějakým způsobem využívají osobní údaje, nebo systémy, které provádějí profilování. Profilováním je chápána jakákoli forma automatizovaného hodnocení osobních aspektů osob týkajících se například ekonomické situace, zdravotního stavu, osobních preferencí, zájmů, spolehlivosti, chování, místa, kde se nachází, nebo pohybu. Zvláštní pozornost je pak kladena na systémy biometrického rozpoznávání dle obličeje, které představují novou rychle se šířící aplikaci umělé inteligence. Navíc právě biometrické rozpoznávání dle obličeje je předmětem bližšího zájmu také připravovaného nařízení s cílem regulovat umělou inteligenci na úrovni Evropské unie.

Aplikace automatizovaných dohledových systémů policejních složek založených na umělé inteligenci se rozšiřují, a to především kvůli rostoucímu financování z veřejných rozpočtů a pokroku v počítačových algoritmech. Důsledkem technologického pokroku je analýza fotografií, videa, textů a dalších multimediálních zdrojů v masovém měřítku stále dokonalejší, levnější a dostupnější. Různé automatizované dohledové a profilovací systémy jsou i díky tomu často zaváděny netransparentním způsobem, bez řádného posouzení jejich nezbytnosti a proporcionality, bez přiměřeného upozornění veřejnosti, a tedy i bez předchozí společenské debaty. Automatizované plošné sledovací systémy mohou porušovat lidská práva – především právo na soukromí, informační sebeurčení, spravedlivý proces a důstojnost; mohou mít negativní dopad na svobodu projevu a shromažďování; a omezovat ochotu obyvatel účastnit se veřejných, společenských nebo politických aktivit. Vzhledem k zásadnímu významu soukromí a práva na informační sebeurčení pro svobodné rozhodování může nasazení umělé inteligence k plošnému dohledu umožnit trvalý průnik do naší autonomie v masovém měřítku.

Automatizované dohledové a profilovací systémy s prvky umělé inteligence dosud nebyly předmětem hlubší veřejné diskuse. Začaly být fakticky používány, aniž by byly řešeny právní a etické důsledky. Společenské diskusi by měly být automatizované dohledové a profilovací systémy podrobeny z hlediska možného zesílení existujících nerovností a diskriminace. Na základě typických charakteristik, které se opakují u odsouzených osob, mohou algoritmy umělé inteligence vytipovat ty, na které se následně zaměří pozornost policie. Ostatně různé „pre-crime“ programy připomínající známé sci-fi Minority Report se ve světě používají již několik let. Otázkou tak je, zda je jejich rozvoj v souladu s koncepcí demokracie, svobody, rovnosti a sociální spravedlnosti.

Mnohdy je navíc sporná již zákonnost v současnosti nasazených automatických dohledových a profilovacích systémů. Například Evropský inspektor na ochranu osobních údajů udělil v říjnu 2020 napomenutí Europolu2 za to, že nashromáždil celkem čtyři petabajty dat obsahující trestní spisy z členských států, data získaná z veřejně dostupných databází, z kompromitovaných komunikací celých on-line platforem a řady dalších zdrojů. Tento balík dat obsahující informace nejen o konkrétních odsouzených, ale také osobní údaje získané necíleně na osoby bez jakéhokoliv podezření na protiprávní jednání, plánoval Europol vytěžit pomocí systémů umělé inteligence. Problém je zejména v tom, že policejní orgány si interpretují zákonná ustanovení velice široce a před nasazením neprochází aplikace automatizovaných dohledových systémů vnějšími nezávislými kontrolami. Podle našich zjištění trpí nezákonností také systémy biometrického rozpoznávání dle obličeje, které provozuje Policie České republiky.