Středa, 8 ledna, 2025

Rizika umělé inteligence, o nichž se tolik nemluví. Reaguje na ně lépe evropská či americká legislativa?

Sdílet

Úvod

V poslední době se v mediálním prostoru velmi často objevuj diskuze o nebezpečí umělé inteligence. Ta bývá definována jako „technologie, jež umožňuje počítačům a strojům simulovat lidské učení, porozumění, řešení problémů, rozhodování, kreativitu a samostatnost“ (Stryker, 2024) (pro stručnost bude nadále používána zkratka UI). V praxi je to ovšem o dost složitější – je to kombinace různých moderních nástrojů, které dokážou díky aktuálnímu technologickému pokroku pracovat s daty rychleji než kdy dříve. Většinou se jedná o nejrůznější aplikace pokročilých modelů strojového učení, modelů na statistické zpracování textu NLP, metod zpracování big data a konečně LLM, které se díky společnostem jako OpenAI, Google nebo Microsoft staly tím, co si lidé pod termínem UI nejčastěji představí.

Největším pokrokem UI je, že na rozdíl od předešlých technologií nejsou výpočetním jednotkám pomocí programovacích jazyků zadávány velmi specifické příkazy, ale namísto toho byl vytvořen software, který se sám učí z dat, která mu jsou poskytnuty. Zde ovšem nastává problém, který stojí za velkou částí rizik, která jsou s UI spojována – je definován jako tzv. černá skříňka těchto algoritmů. Zjednodušeně řečeno se jedná o místo, v němž si kvůli složitosti algoritmu ani sami vývojáři nemohou být jisti, co program s poskytnutými daty dělá, a tím pádem také, jak bylo dosaženo daného výsledku. (Blouin, 2023)

Součástí této práce bude právě zamyšlení nad potřebou regulace UI. Nejprve stručně představí aktuální právní vývoj, pak se hlouběji ponoří do některých rizik, která tato technologie přináší, zároveň představí i konkrétní právní úpravy z Evropské unie a Spojených států amerických a závěr bude tvořit diskuze pojednávající o tomto tématu.

Metodika

Pro hledání primárních zdrojů, sloužících k zorientování se v tématu a případně uvádění konkrétních informací, byly používány převážně open data databáze vědeckých publikací Web of Science a Google Scholar. Pro hledání ostatních odborných článků, které jsou v práci v hojné míře též zastoupeny, byl použit standardní prohlížeč Google Chrome. Všechny zdroje, z nichž jsou citovány konkrétní informace, jsou uvedeny jak v průběhu práce, tak na konci v seznamu použité literatury.

Pro potřeby práce byly využívány také LLM ChatGPT 4o a ChatGPT 3.5. Ty byly používány především za účelem tvoření nápadů pro specifikaci tématu práce, dále pro upřesnění struktury a na konci i ke zpětné vazbě na stylistiku a gramatickou správnost textu. Pro sumarizování odborných textů byla místy používána webová aplikace NotebookLM.

Současný vývoj právních úprav

EU

Evropský parlament 13. března 2024 schválil tzv. EU Artificial Intelligence ACT, který od srpna postupnými kroky nabývá na platnosti. Jeho cílem je zajistit bezpečné a etické využívání UI. Jedná se mimochodem o první komplexní právní úpravu na světě. Základním principem této normy je rozdělení konkrétních užití podle rizikovosti, vymezuje tak čtyři kategorie:

  • Minimální nebo žádná rizika – systémy podléhající minimální regulaci, patří sem např. využití UI ve videohrách či ve spam filtrech.
  • Omezená rizika – většinou aplikace, které interagují přímo s uživateli, jsou zde třeba chatboti či systémy na rozpoznávání lidských emocí.
  • Vysoká rizika – často systémy využívané v kritických sektorech jako zdravotnictví, doprava, školství, pojišťovnictví, hraniční kontroly nebo soudnictví. Musí splňovat přísné požadavky, např. na transparentnost, lidský dohled a robustnost.
  • Nepřijatelná rizika – sem patří technologie UI, které mají být v EU zakázány úplně, například systémy social scoringu, nebo UI, která má za úkol manipulovat za účelem zneužití. (European Comission, 2024)

Kromě AI Actu lze zmínit např. Data Act, který se má zaměřovat na sdílení a ochranu dat potřebných pro vývoj UI, dále pak Digital Services Act (DSA) a Digital Markets Act (DMA), které mají regulovat online služby. Vedle toho stojí pochopitelně i nařízení o ochraně osobních údajů GDPR, které je platné už od roku 2018 a na které je také třeba brát zřetel. (Kosling, 2024)

USA

Regulace UI v USA se od toho v EU poměrně liší. Současný přístup je rozdělen mezi několik klíčových iniciativ především na federální úrovni, zahrnující jak legislativní návrhy, tak výkonné nařízení prezidenta Bidena. Ten vydal v roce 2023 výkonné nařízení, které stanovilo rámec pro řízení rizik spojených s UI, zejména v oblastech bezpečnosti, občanských práv a ochrany soukromí. Mezi klíčová opatření patří např.: povinnost vývojářů sdílet výsledky bezpečnostních testů UI a informace o rozsáhlých výpočetních systémech s Ministerstvem obchodu, posouzení rizik UI v kritické infrastruktuře (např. energetické sítě, doprava, telekomunikace apod.), dále pak podpora inovací prostřednictvím Národní výzkumné infrastruktury pro AI, která poskytuje přístup k výpočetní kapacitě a datům pro výzkumné pracovníky.

Tyto a další kroky mají zajistit, aby byla i v USA UI využívána bezpečně a transparentně, přičemž se klade důraz na mezinárodní konkurenceschopnost USA. O dalších již schválených zákonech, nebo alespoň těch v procesu schvalování, bude řeč v průběhu práce. (White & Case, 2024)

Rizika spojená s využíváním UI a jejich právní reakce

Predictive policing

Policie by měla pro potlačování zločinnosti používat všechny dostupně nástroje. Problém ovšem nastává, když se tyto nástroje zabývají prediktivní analýzou – podezřelý člověk by měl zůstat nevinný do doby, než je mu prokázána vina. Tyto státní složky mohou mít z logického důvodu iniciativu používat pokročilé modely strojového učení, aby dokázaly předpovědět konkrétní zločin ještě předtím, než se sám stane. Za tímto účelem by tedy mohly chtít mít přístup k nejrůznějším datům o běžných lidech (pravděpodobně bez jejich souhlasu) – biometrická data, záběry z veřejných prostor apod. – na jejichž základě jsou schopny předpovídat další informace. (Vestby, 2019)

Dalším nebezpečím je pochopitelně riziko falešné identifikace. Tedy podezření a následné zadržení člověka ještě předtím, než daný trestný čin spáchá – pochopitelně s rizikem, že se o zločince vůbec nejedná. Takový případ se stal např. v michiganském Detroitu – více v (Hill, 2020).

Právě této problematice se mimo jiné věnuje i jedna část evropského AI Actu. V ní je zakázáno shromažďování právě těchto dat za účelem předpovídání trestního chování obyvatel, jelikož by „lidé měli být souzeni pouze podle jejich skutečného chování.“ (Verte, 2024)

Ovlivňování voleb

Součástí demokracie a voleb je důvěra v systém, tedy že každý hlas má cenu, a důvěra v informace, jež voliči o kandidátech dostávají. Něčím, co se může stát a co se ve skutečnosti již děje, ale zatím pouze v raných fázích, je ovlivňování výsledků voleb pomocí technologie deepfake. Toto je pochopitelně téma, jemuž by se mohla věnovat celá série prací, mnohem rozsáhlejších, než je tato. Každopádně se stává stále jednodušším vytvořit stále uvěřitelnější videa, která vypadají jako politici, světoví lídři či třeba celebrity říkající věci, jež nikdy nevyřkli.

Podle MIT Technology Review (Heikkilä, 2024) je zatím tato technologie v ovlivňování voleb nebo rozšiřování dezinformací překvapivě nikoliv tak účinná. To se ovšem v následujících letech pravděpodobně změní. Důvodem dosavadní menší efektivity může být třeba i to, že se lidé museli pokaždé přizpůsobovat vývoji uplynulých desetiletí – střih videa, upravování analogových i digitálních fotografií. Lidé se tak dlouhé roky učili, že by neměly věřit všemu, co v mediálním prostoru vidí. Což ve výsledku ovšem znamená, že se stále učí více a více podezírat a nedůvěřovat věcem kolem nich. To posléze vede ke ztrátě důvěry v instituce, a tím pádem i v demokratický systém samotný.

I v tuto oblast upravuje AI Act. Ten požaduje, aby každý, kdo deepfake technologie využívá, do finálního výstupu zakódoval neviditelný watermark, jenž není pouhým okem vidět, ovšem který dokáže specializovaný software detekovat a poznat tak, že se nejedná o reálnou nahrávku. Podobně to má fungovat i pro každý jiný obsah generovaný pomocí UI. (FRESHFIELDS, 2024)

Tentokrát ovšem vydaly právní úpravu též Spojené státy americké, respektive pouze jejich část, Kalifornie. Tam bude od začátku roku 2026 platit zákon nařizující velkým online platformám jako YouTube či Facebook, aby našly a označily uměle vytvořená média. Za určitých podmínek je dokonce zcela zakázáno sdílet jakýkoliv obsah související s volbami, který byl vytvořen nebo upraven pomocí UI. (Kourinian, 2024) (Levi, 2024)

Social scoring

Dalším nástrojem státní instituce může být tzv. social scoring, tedy nástroj, díky němuž může kontrolovat své obyvatele či diskriminovat konkrétní skupiny. Takový systém by sledoval, jak se lidé chovají v online i offline světě, a na tomto základě by byl schopen každému jednotlivci přiřadit osobní skóre. Na základě informací typu splácení půjček, přispívání na charitu, trestní minulost, či dokonce postoje a vyjadřování vůči danému režimu by tak byl člověk zvýhodňován, nebo by mu naopak byly upírány některé svobody – např. přístup ke studiím, půjčkám, možnost využívat některé služby atd.

Něco na tento způsob se v praxi běžně používá, kupříkladu banky prověřují klienty, zda jsou schopni splácet své závazky. Problém ovšem nastává, pokud se toto rozhodne aplikovat vládní instituce, a to nejen v konkrétním sektoru, ale obecně, a navíc k tomu začne používat technologie umělé inteligence.

Takovýmto příkladem může být třeba často zmiňovaná Čínská lidová republika. Podle tohoto systému je člověku na základě téměř neustálého sledování přiřazeno skóre mezi 600 a 1 300. Každému je na začátku přiděleno skóre 1 000 a podle toho, jak se daný člověk chová, mu může být například přiděleno, do jak kvalitní školy může chodit jeho dítě, jakou práci může vykonávat, do jakých částí země smí cestovat či zda může používat letadla a vysokorychlostní vlaky. Tento systém zatím není plně centralizovaný a není ani užíván na celém území Číny, ale se stále se zrychlujícím technologickým pokrokem není vyloučeno, že právě takto bude vypadat budoucnost nejen Číny, ale i ostatních autoritářských režimů. (Velocity Global, 2023)

Podobné ohrožení osobních svobod ale nemusí představovat pouze totalitní režimy. K podobným datům by se mohli dostat např. zaměstnavatelé, kteří by mohli začít sami nechávat neustále sledovat své zaměstnance a na základě pozorování následně předpovídat, kdo je či není vhodný pro povýšení, ba dokonce zda-li nezaměstnat někoho jiného. Podobně by mohly fungovat třeba přihlášky na školy – systém by sám o sobě zjistil (popř. by mu tyto údaje poskytnul přímo uchazeč) informace o motivaci, zájmech, nadání, aktivitě na sociálních sítích apod. a na jejich základě by dokázal mnohem lépe než člověk zjistit, zda je adept vhodný.

To zní na jednu stranu poměrně dystopicky, na druhou stranu by to bylo velmi efektivní, pokud bychom dokázali eliminovat lidské chyby a zaujatost, a mohlo by to pomáhat lidem dostat se na tu správnou školu nebo do vhodného zaměstnání, což by pochopitelně vedlo i k prospěchu ekonomickému, a to jak pro jednotlivce, tak pro firmy a státy. To ovšem pouze v případě, že budou tyto algoritmy nastaveny správně. Problém je v tom, že výsledky UI mohou být také zkresleny, a to na základě dat, které jsou modelu poskytnuty. A tyto zkreslené výsledky nejsou lidé schopni odhalit právě kvůli oné černé skříňce UI.

I na tuto oblast se zaměřil tým stojící za AI Actem, podle nějž je jakákoliv podoba social scoringu zařazena do kategorie s nepřijatelným rizikem. „Systémy UI nelze používat za účelem klasifikování nebo zařazování lidí do určitých kategorií dle toho, jak se chovají ve společnosti.“ (Minty, 2024)

Válečné účely

Neposlední otázkou je, jak moc autonomně necháme tyto systémy fungovat a také jaké funkce je necháme přímo řídit. Tato otázka se řeší asi nejvíce v armádních záležitostech. Pokročilé modely strojového učení jsou přitom o dost úspěšnější a přesnější než lidské schopnosti, když jde o vyhodnocování velkého objemu informací, což je v krizových situacích jako válka klíčové a pro lidi také velmi složité. Dnes už dokonce ani není otázkou času, kdy se začnou tyto systémy používat v praxi ve velkém. Kupříkladu lidmi z amerického ministerstva obrany již byly předneseny plány na zvýšení využívání potenciálu těchto systémů a na nové pojetí války. (Hiebert, 2024)

Důležitější otázkou tedy spíše je, nakolik budou obranné složky UI důvěřovat a kolik armádních zařízení jí nechají bez dohledu člověka řídit. Problém opět nastává u té tolikrát zmiňované černé skřínky. Ve chvíli, kdy totiž autonomní zbraň začne kupříkladu střílet po někom, po kom by neměla, nastává velký problém. A právě tomuto se mimo jiné věnuje opět jedna americká úprava, která je projednávána v senátu zvaná Block Nuclear Launch by Autonomous AI Act. Ta se tedy zaměřuje pouze na jaderné zbraně a zákaz, aby je mohla jakkoli ovládat UI. Podobné návrhy jsou diskutovány i v dalších státech. (Robertson, 2023)

Kritická infrastruktura

Kritickou infrastrukturou se označují sektory nutné pro fungování systémů, které zajišťují běžný chod domácností, firem i států. Může to být např. energetická, dopravní, vodárenská, telekomunikační infrastruktura, ale třeba i zdravotnictví, pohotovostní služby, zemědělství, zajišťování potravin apod. Je velmi pravděpodobné, že mnohé z těchto potřebných systémů budou v budoucnu více a více kontrolovat systémy na bázi UI, což povede k optimalizaci procesů, a tím pádem větší efektivitě a spolehlivosti.

Na jednu stranu se tedy nabízí příležitost zefektivňování mikroprocesů a třeba i mnohonásobně lepšímu fungování, na druhou stranu to s sebou opět nese i rizika. Nejočividnější může být situace, kdy například z důvodu přírodní katastrofy nebude dostatek elektrické energie pro chod těchto velmi energeticky náročných algoritmů, na nichž by byla kritická infrastruktura zcela závislá. I proti tomuto může ovšem pomoci kombinace zpracování big data a metod strojového učení – UI dokáže velmi přesně predikovat čas, místo, a dokonce i průběh přírodních katastrof (Chapman, 2023) a na lidech potom je, aby se na tyto pohromy dokázali co nejlépe připravit.

Větším rizikem proto může být opět ona černá skříňka. Z nějakého důvodu může systém vygenerovat chybu, u níž může trvat i dny, než příslušní lidé zjistí, proč se stala, nebo že se vůbec stala. Žádný model navíc nejspíš nikdy nedokáže popsat realitu v celé své šíři, a proto by byly tyto systémy limitovány dovednostmi vývojářů a použitou technikou – nelze např. vyloučit špatné rozhodnutí z důvodu závady na jednom z mnoha senzorů. Jedním z mála řešení, jež se zde nabízí, je otevřít onu černou skříňku. To ovšem může být s narůstající složitostí algoritmů stále složitější.

Dopady na životní prostředí

Jako poslední zde uvedené riziko bude zmíněna náročnost těchto moderních systému na přírodní zdroje. Podle Wu et al. (2022) se ve společnosti Meta v letech 2021 a 2022 zvýšil objem trénovacích dat pro doporučovací algoritmy 1,9x, čímž dosáhl rozsahu exabajtů. To mělo ve stejném časovém období vést k 2,9násobnému nárůstu kapacity infrastruktury. Na konkrétním příkladě velkého jazykového modelu Meena od společnosti Google uvádí, že jeho trénink vytvořil stejnou uhlíkovou stopu, kterou by vyprodukoval průměrný osobní automobil při ujetí necelých 250 000 mil.

Studie od George Shajiho, George Hovana a Martina Gabria (2023) se zabývala náročností LLM na spotřebu vody. Tyto modely spotřebovávají vodu přímo a nepřímo – přímá spotřeba zahrnuje chlazení datových center a nepřímá pak zahrnuje vodu potřebnou pro výrobu hardwaru a energie pro jejich provoz. Při porovnání se sektory nejnáročnějšími na spotřebu vody, jako je energetika či zemědělství, se sice nejedná o tak vysoká čísla, ovšem alarmující je rychlost, s jakou roste výkon, a tím pádem i náročnost těchto systémů na přírodní zdroje. 

Výzkum odhaduje, že trénování modelu o výpočetní síle lidského mozku po dobu jednoho roku spotřebuje zhruba 126 000 litrů vody, což přirovnává ke spotřebě jedné americké domácnosti za 20 let. Dále uvádí, že ChatGPT 3.5 spotřebuje 500 ml vody na každých 20–50 otázek, kteréžto tvrzení nabývá na významu při informaci, že tento model používá měsíčně odhadem až 100 milionů lidí. (Shaji et al., 2023)

Na jednu stranu může UI pomoci k řešení environmentálních problémů – např. optimalizací pěstování plodin, predikcí obnovitelných zdrojů či objevování nových katalyzátorů pro ukládání energie (Wu et al., 2022). Na druhou stranu je však potřeba klást důraz i na k přírodě šetrný vývoj UI. Pro minimalizaci dopadu na životní prostředí je nezbytné zvážit celý proces fungování UI, včetně sběru dat, trénování, inference, a dokonce i životního cyklu použitého hardwaru. Dalšími kroky pak může být používání energeticky účinnějších komponentů a chladících systémů, optimalizace algoritmů pro zajištění nižšího potřebného výkonu, používání obnovitelných zdrojů energie a v neposlední řadě i zvyšování povědomí a důraz na rozvíjení politik podporující udržitelný rozvoj.

Podle UNEP (2024), což je program pro podporu ochrany životního prostředí pod záštitou OSN, již více než 190 zemí přijalo nezávazná doporučení ohledně etického využívání UI, jež obsahují i body o životním prostředí. Evropská unie a Spojené státy dokonce zavedly právní předpisy, které mají zmírnit dopady UI na planetu.

Zároveň však Golestan Radwan, jeden z nejvyšších představitelů tohoto programu, dodává: „Vlády se předhánějí ve vytváření národních strategií v oblasti UI, ale jen zřídkakdy berou v úvahu životní prostředí a udržitelnost. Nedostatek ochranných zábran pro životní prostředí není o nic méně nebezpečný než nedostatek jiných ochranných opatření souvisejících s UI.“ UN environment programme proto vyzývá ke společnému mezinárodnímu jednání o přizpůsobování politik za cílem řešení náročnosti na přírodní zdroje a doporučuje firmám, aby zefektivňovaly své algoritmy, snižovali nároky na energii a znovu používaly vodu a komponenty, kde je to možné. (UNEP, 2024)

Dílčí závěr

Jak již bylo řečeno v úvodu, tato kapitola se věnovala primárně hrozbám, které se v běžném mediálním prostoru objevují spíše v menší míře. A i přesto, že by každá ze zmíněných hrozeb vydala na celou sérii o dost podrobnějších prací, než je tato, může už z tohoto stručného výčtu vypadat celá budoucnost lidstva jako dystopie ovládaná umělou inteligencí. Je ovšem potřeba nezapomínat i na všechny benefity plynoucí z tohoto technologického pokroku: ulehčování učení a prohlubování vědění v různých oborech, zvyšování efektivity nejrůznějších procesů, účinné zpracování dat, které by člověku zabrali daleko více času, a zároveň i všechny věci z toho plynoucí – UI je nový a velmi účinný nástroj, který se člověk musí naučit používat.

Ve výsledku závisí na lidech samotných, jak budou tento nástroj využívat. Je také zapotřebí překonat mnoho výzev, které mohou být řešeny buď technologickým pokrokem a zefektivňováním algoritmů (např. problém černé skříňky, gender bias či vysoká náročnost na přírodní zdroje) anebo právě regulací (zde je zřejmě nejnebezpečnější použití pro válečné účely či pro nelegální využívání UI spojené s aktivitou na dark webu, což jsou ovšem věci, které jsou buď velmi těžko regulovatelné, anebo těžko mezinárodně prosaditelné) a pochopitelně také vzděláváním (důraz na kritické myšlení a využívání UI ke správným účelům).

Závěr

Není pochyb, že mezinárodní shoda na standardech o regulaci technologií umělé inteligence je běh na dlouhou trať. Jedná se totiž často o střet zájmů ekonomických, principiálně etických nebo geopolitických. Daná situace by se dala přirovnat ke známému modelu z teorie her, k vězňově dilematu – modelu, kde mají hráči (zde státy a vlády) na výběr, zda být, zjednodušeně řečeno, ten hodný a zachovat se tak, jak by se očekávalo – v tomto případě regulovat, a omezit tak vývoj a svůj ekonomický či geopolitický prospěch, anebo naopak zradit, vydat se vlastní cestou a benefitovat z konkurenční výhody nad ostatními.

Problémem vězňova dilematu je, že se vždy vyplatí ostatní hráče zradit. Jedinou cestou ven je potom změna pravidel hry. Výzvou, která tak mezinárodní společenství čeká je právě domluvit se na tom, jak tato pravidla globálně upravit. Příklad rozdílných tendencí je vidět už na zmiňovaném přístupu EU a Spojených států amerických. Zatímco Evropská unie vydává komplexní právní úpravu se snahou obsáhnout problematiku umělé inteligence v co nejširším provedení, Spojené státy schvalují na státní úrovni primárně zákony, které ochraňují jen před bezprostředními hrozbami a ostatní nechávají pouze na federální úrovni.

Dle názoru autora existuje nutnost regulovat UI a kupříkladu právě EU AI Act by, alespoň z dosud získaného povědomí, nemusel být špatnou volbou. Výhodou je převážně, že velmi dbá na ochranu uživatelů a zároveň se snaží, kde je to možné, chránit před nejrůznějšími riziky využití systémů UI, včetně např. rizika černé skříňky.

Očividnou nevýhodou je ovšem možné zaostávání v ekonomickém vývoji, ale třeba i ve vojenských technologiích, proto je z pohledu Evropské unie potřeba vyzývat k mezinárodnímu jednání a akci v oblasti regulování umělé inteligence. To je ovšem opět běh na dlouhou trať a není vyloučeno, že to bude probíhat podobně jako např. diskuze o regulaci tabákového průmyslu. První studie o negativních dopadech kouření na lidský organismus byly publikovány už v padesátých letech, komplexní právní úpravy se ovšem dočkaly až o tři desetiletí později. Umělá inteligence je nový fenomén, a další přelomový nástroj, který lidstvo vyvinulo a teď se s ním musí naučit žít, a to včetně regulace, která je s tím spojená.

Použitá literatura

  • SHAJI, George; HOVAN, George; GABRIO, Martin. The Environmental Impact of AI: A Case Study of Water Consumption by Chat GPT. Online. 2023. Dostupné z: https://doi.org/10.5281/zenodo.7855594. [cit. 2024-12-13].

Číst více

Další články