Umělá inteligence: jaké právní a etické otázky s sebou nese její vojenské využití?

Těžko si lze představit, zda Karel Čapek s prvním použitím slova robot[1] očekával, že jeho divadelní drama dalece přesáhne samo sebe a stane se inspirací jak literárního světa, tak vývoje civilizace, která je dnes na robotické technologii ještě závislejší, než sám Čapek v roce 1920 dokázal predikovat. Etické otázky a problémy, které už před 103 lety vyzdvihl, ovšem zůstávají aktuálními dodnes. A jsou ještě palčivější, jelikož Čapek se jimi zabýval v hypotetické rovině, zatímco my je prožíváme v technologiemi formované každodennosti.

Rychlost a efektivita ve službách člověka

Umělá inteligence (artificial intelligence, AI) jakožto všeobjímající pojem označuje technologie fungující na bázi strojového učení. Strojové učení je konkrétní způsob, jakým systém rozvíjí své znalosti a inteligenci. Jedná se o proces využívající matematických modelů dat, které počítač využívá k učení, aniž by dostával přímé instrukce.[2] V podstatě jde o mechanizovanou představu lidského učení (vnímání podnětů, jejich výběr, zpracování a poučení se pro příští využití). Jedním ze způsobů, jak je možné napodobit učení se , je použití neuronové sítě – algoritmů, jež jsou sestaveny podle vzoru lidského mozku.

Obecně lze umělou inteligenci definovat jako „schopnost počítačového systému napodobovat lidské kognitivní funkce, jako je učení a řešení problémů,“[3] přičemž tyto systémy fungují s různou mírou autonomie. Tento termín použil poprvé v roce 1950 John McCarthy, podle něhož bylo možné popsat jakýkoli rys inteligence tak přesně, aby jej šlo „simulovat na stroji“.[4]

AI se člení na tzv. slabou/omezenou (weak/narrow) a silnou/obecnou (strong/universal/general) . Slabá AI se zaměřuje na jeden konkrétní úkol či sadu úkolů, nedokáže však udělat nic mimo tuto oblast. Dnes ji využíváme prakticky ve všech odvětvích a umožňuje zvýšení efektivity, rychlosti a přesnosti řešení a provádění přidělených úkolů. Vhodná je hlavně pro repetitivní činnosti, jakými jsou např. pásové výroby. Tyto systémy ve fyzických konstrukcích je také možné využívat pro činnosti, jež jsou pro člověka ohrožující, jako je zneškodňování bomb, těžba nerostných surovin, hašení požárů apod. Obecná AI je vize, podle níž bude systém všeobecně inteligentní a schopný zvládnout jakýkoli úkol nebo problém bez ohledu na oblast.[5] Představou do budoucna je, že umělá inteligence bude multifunkční a schopná řešit problémy napříč oblastmi stejně jako člověk. Ovšem díky vyšší kapacitě a teoreticky neomezené schopnosti zlepšovat se se očekává, že její rychlost, efektivita a adaptabilita bude vyšší než u lidí.

Už z tohoto popisu je zjevné, že lidstvo pracuje na vytvoření systému, jenž ho intelektuálně překoná. A tak jako postavy RUR předpokládáme, že to bude pro náš užitek a za našich pokynů.

Bojová pravidla hry pro všechny, AI nevyjímaje

Necháme-li však stranou apokalyptické vize, v nichž si AI uvědomí , že práce pro člověka je pod její úroveň, jsou zde další etické problémy spojené s jejím využíváním. Systémy umělé inteligence čím dál více přebírají lidské činnosti, mj. i ve vojenství a (válečných) konfliktech. A kde jinde je otázka etiky – filozofické disciplíny zabývající se odpovědným jednáním uvnitř lidského společenství[6] – tak markantní jako v oblasti, kde dochází k systematickému, zaměřenému a politicky odsouhlasenému ubližování a zabíjení.

Obecně etika představuje syntézu morálních představ o tom, jak se správně chovat, a to v podobě konkrétně platných norem odpovídajících na tuto otázku v daném čase a místě. Mimo tuto externí rovinu ji tvoří také soubor vnitřních hodnot a principů jedince, který se nějak rozhoduje (ne)konat. Etika je proměnlivá a vyvíjí se v závislosti na externích i interních faktorech.

Legální sféru ozbrojených konfliktů rozlišujeme na dvě části. První je ius ad bellum – podmínky, za nichž se státy mohou uchýlit k válce, či obecně použití síly. Ty jsou definovány primárně v Chartě OSN, zakládajícím statutu Organizace spojených národů z roku 1945, která zakazuje útočnou válku. Stát je na jejím základě oprávněn válčit jen po zmocnění Rady bezpečnosti v rámci regionální organizace, na základě rozhodnutí Rady bezpečnosti či při výkonu práva individuální nebo kolektivní obrany proti útoku.[7] Druhou částí je ius in bello, upravující chování stran v samotném ozbrojeném konfliktu, známé jako mezinárodní humanitární právo (international humanitarian law) či válečné právo.[8] Snahu regulovat způsoby válčení, aby docházelo co k nejmenšímu utrpení a škodám, rámují primárně tzv. Ženevské úmluvy[9] z roku 1949, které jsou již v dnešní době považovány za právní obyčej, tedy jsou závazné i pro ty, kdo nejsou jejími smluvními stranami.

Základní zásady tohoto právního systému: (1) nastolují povinnost rozlišovat mezi civilisty a bojovníky, (2) nastolují rovnost stran konfliktu, (3) zakazují způsobovat zbytečné utrpení (zásada vojenské nezbytnosti), (4) dovolují útočit jen v rámci přiměřenosti, kdy předpokládaný vojenský úspěch převýší způsobené utrpení, (5) zakazují útočit na ty, jež se neúčastní bojů, (6) omezují volbu prostředků a způsobů vedení boje, (7) nastolují zásadu nestrannosti pro jednání s civilními osobami a osobami vyřazenými z boje.[10]

Nejen těmito zásadami se samozřejmě musí řídit i systémy umělé inteligence. Mluvíme-li o vojenských systémech, je nutné rozlišit, zda má být AI součástí bojové činnosti, či nikoli. Tzv. robot zabiják s sebou totiž přináší další etické i právní problémy.

AI jako dvousečná zbraň (v boji doslova)

AI je dvousečnou zbraní; její užitek na straně jedné může zrovna tak představovat riziko na straně druhé, a to zejména je-li systém zneužit nebo zkrátka špatně naprogramován. AI může pomoci s vyhledáváním a mazáním lživých zpráv, ale může je stejně tak masivně šířit či vytvářet.[11] Nebo je nemusí být schopna odhalit, případně může při špatném vyhodnocení mazat i pravdivé zprávy, hlavně glosy a satiru, jež mají problém občas rozeznat i lidští jedinci.

Pokud AI čerpá své zkušenosti ze zaujatého nebo člověkem ovlivněného datového setu, může se z ní namísto objektivně hodnotícího systému stát systém rasistický, homofobní a sexistický.[12] Na toto nebezpečí upozorňuje i Evropská unie (EU), podle níž by „nesprávné provedení“ mohlo mít vliv na „objektivnost procesů při najímání či propouštění zaměstnanců, při nabízení půjček, či dokonce v trestním řízení“.[13] Zde všude se totiž s využitím AI do budoucna počítá.

Nemenší vliv na rozhodování AI si lze představit i ve vojenské oblasti, kde by systém na základě ovlivněných dat mohl nesprávně vyhodnocovat kombatanty a civilisty např. podle barvy pleti, čímž by došlo k porušení válečného práva i lidských práv. Právě schopnost rozlišovat kombatanty od civilistů nebo znaky/gesta symbolizující kapitulaci by měl obsahovat každý AI systém, který se stane součástí konfliktu. Umělá inteligence přitom za současného stavu vývoje nedokáže dostatečně analyzovat kontext situací.[14]

Součástí rozhodovacích procesů, tzv. smyčky (loop), by proto měl být i lidský element. Rozlišujeme tři způsoby, jak může být člověk součástí – ve smyčce (in the loop), na smyčce (on the loop) a mimo smyčku (out of the loop). Toto rozlišení se využívá primárně v autonomních systémech[15] a odpovídá vlivu, který člověk na rozhodování má. Člověk ve smyčce je součástí rozhodovacích procesů, člověk na smyčce procesy zevnitř pozoruje a má spíše dozorčí funkci a člověk mimo smyčku na rozhodovací procesy dohlíží zvenku, aniž by nad nimi měl dohled v reálném čase (vyhodnocování ex post).[16]

Že AI systémy nemohou zůstat zcela bez lidské kontroly, říká i americká Rada pro obranné informace (Defence Innovation Board) pod Ministerstvem obrany USA. Ta v roce 2020 identifikovala pět principů použití AI v oblasti vojenství: princip odpovědnosti, princip spravedlnosti, princip sledovatelnosti, princip spolehlivosti a princip správy.[17] Ve zkratce řečeno člověk by měl být podle těchto principů odpovědný za vývoj, nasazení, použití a výsledek operací AI systémů; Ministerstvo obrany by se mělo za každou cenu pokusit vyhnout zaujatosti systémů, která by vedla k újmě; AI procesy by měly být transparentní a kontrolovatelné; uplatnění AI systémů by mělo být dopředu definováno a před ostrým nasazením testováno; a operátoři by měli být schopni vstupovat do rozhodovacích procesů včetně možnosti systém deaktivovat , pokud by hrozilo jeho deviantní či nechtěné chování.

Evropský parlament jde dokonce ještě dál a ve svém usnesení z roku 2019 konstatoval, že „automatizované zbraňové systémy by měly nadále využívat umělou inteligenci na základě přístupu human-in-command (člověk ve velení)“.[18] Přitom automatizované ne nutně znamenají autonomní (se schopností se rozhodovat) či inteligentní (a na základě toho se učit a zlepšovat). EU tak v oblasti průmyslové politiky ohledně AI a robotiky volí restriktivnější postoj, minimálně tedy na úrovni doporučení a očekávání.

Studie americké výzkumné instituce RAND Corporation v roce 2020 zase upozornila, že v oblasti AI a vojenství se vyskytují čtyři hlavní etické problémy, a to (1) jak zajistit, že použitím AI prostředků nedojde k porušování práva ozbrojeného konfliktu, (2) jak určit, kdo je zodpovědný za konání AI prostředků a jak zajistit jeho morální odpovědnost, (3) jak zaručit, že nebude porušována lidská důstojnost – tedy jak přístroj naučit, aby se choval humánně (k válečným zajatcům, civilistům aj.), a (4) jak zajistit dodržování lidských práv a práva na soukromí.[19]

Delegace bojových úkolů na technologie slibuje obecně nižší ztráty na životech na vlastní straně a účelnější ztráty na straně protivníka.[20] Zároveň ale může vést k tomu, že AI bojové systémy budou využívány zbrkleji a častěji, než by byly v případě nasazování živých vojáků, a tím dojde k růstu konfliktů.[21] Nemluvě o tom, že technologická převaha jedné bojující strany může vést k tomu (jako se to již v minulosti stalo), že se protivník začne uchylovat k nespravedlivému boji, jako je terorismus.[22]

Vyloučit nelze ani závody ve zbrojení, které se můžou v souvislosti s nasazováním AI prostředků v armádě objevit.[23] Výzkum v oblasti umělé inteligence navíc pohání vedle akademických institucí hlavně soukromý sektor; samotné závody ve zbrojení tak mohou být započaty jen na základě toho, že nějaký moderní prostředek bude vyvinut a nabídnut státům k prodeji, přičemž jeho nákup bude důležitou součástí pro zachování jak geopolitické nadvlády, tak odstrašujícího[24] potenciálu.

Závěrem a na zamyšlenou

Největší potenciál má AI pro armády hlavně v kybernetické bezpečnosti, logistice a dopravě, rozpoznávání cílů, zdravotní péči, monitoringu hrozeb, zpracovávání velkého množství dat či výcviku.[25] Stranou nezůstává ani zapojení AI do strategického rozhodování, ovšem zde snad ještě více než u předchozích příkladů platí, že algoritmus musí fungovat transparentně a pod dohledem člověka.

Neověřitelná nepřezkoumatelná rozhodnutí umělé inteligence (na bázi tzv. černé skříňky – black box) jsou ve vojenství o to nebezpečnější, že na nich závisí lidské životy. Na druhou stranu některé systémy – protiraketová obrana, kybernetická obrana – ke svému fungování potřebují vyšší míru autonomie, mají-li úspěšně plnit svůj účel.[26] Hranice mezi samostatností a dohledem tak může být v jednotlivých případech tenká a fluidní. I proto je tak zásadní vědět, jak přesně daný systém funguje, jelikož znalost umožňuje důvěru.

S ohledem na rozsáhlost výzkumu se dá očekávat, že podíl robotických a inteligentních systémů v armádách a v bojích bude narůstat. Otázky, jak dosáhnout souladu s etickými a právními požadavky, se v debatách objevují poměrně konstantně. Ovšem kvantita ještě neznamená kvalitu diskuzí. A tak, jako už mnohokrát v minulosti, je technologický pokrok i v případě umělé inteligence rychlejší než vznik pravidel, která jej mají doprovázet.

Perex: ČAPEK, Karel. Dramata: Loupežník, RUR, Věc Makropulos, Bílá nemoc, Matka. Praha: Československý spisovatel, 1994. Dějství druhé, citace konzula Busmana, generálního komerčního ředitele RUR (Rossum’s Universal Robots). 

Úvodní foto dostupné zde.

[1] Které mimochodem ve skutečnosti pro připravovanou divadelní hru vymyslel jeho bratr Josef Čapek.

[2] Microsoft Azure. Umělá inteligence (AI) vs. Strojové učení (ML) [online]. N. d. [cit. 29. 1. 2023]. Dostupné zde.

[3] Microsoft Azure, op. cit.

[4] KUMAR, Sunil. Advantages and Disadvantages of Artificial Intelligence. Towards Data Science [online]. 25. 11. 2019 [cit. 31. 1. 2023]. Dostupné zde.

[5] WALCH, Kathleen a COGNITIVE WORLD. Rethinking Weak vs. Strong AI. Forbes [online]. 4. 10. 2019 [cit. 31. 1. 2023]. Dostupné zde.

[6] HAVELKOVÁ, Hana. Etika. Sociologická encyklopedie. In: NEŠPOR, Z. R. (ed.). Sociologický ústav Akademie věd České republiky [online]. N. d. [cit. 31. 1. 2023]. Dostupné zde.

[7] Organizace spojených národů. Charta OSN [online]. 1945 [cit. 27. 1. 2023]. Dostupné zde.

[8] International Committee of the Red Cross. What are jus ad bellum and jus in bello? [online]. 22. 1. 2015 [cit. 1. 2. 2023]. Dostupné zde.

[9] Mimo jiné o zlepšení osudu raněných a nemocných příslušníků ozbrojených sil v poli, o zacházení s válečnými zajatci, o ochraně civilních osob za války. Patří k nim i dva dodatkové protokoly z roku 1977 o ochraně obětí mezinárodních ozbrojených konfliktů a o ochraně obětí konfliktů nemajících mezinárodní charakter.

[10] Český červený kříž. Zásady mezinárodního humanitárního práva [online]. N.d. [cit. 31. 1. 2023]. Dostupné zde.; International Committee of the Red Cross. Fundamentals of IHL [online]. N. d. [cit. 1. 2. 2023]. Dostupné zde.

[11] Viz deepfakes. SAMPLE, Ian. What are deepfakes – and how can you spot them? The Guardian [online]. 13. 1. 2020 [cit. 27. 1. 2023]. Dostupné zde.

[12] Viz DEMOPOULOS, Alaina. The inherent misogyny of AI portraits – Amelia Earthart rendered naked on a bed. The Guardian [online]. 9. 12. 2022 [cit. 31. 1. 2023]. Dostupné zde.; PRANSHU, Verma. These robots were trained on AI. They became racist and sexist. The Washington Post [online]. 16. 7. 2022 [cit. 27. 1. 2023]. Dostupné zde.

[13] Evropský parlament. Umělá inteligence: rizika i příležitosti [online]. 26. 3. 2021 [cit. 31. 1. 2023]. Dostupné zde.

[14] TADDEO, Mariarosaria et al. Ethical Principles for Artificial Intelligence in National Defence. Philosophy & Technology. 2021, č. 34, s. 1707-1729 [online]. [cit. 29. 1. 2023]. Dostupné zde.

[15] Majících pravomoc k vlastní samosprávě na základě přiděleného úkolu. Takové systémy mají například pravomoc rozhodnout se samy o nejlepším způsobu, jakým daného cíle dosáhnout. Autonomní systémy v sobě nemusí mít zakomponovaný prvek učení se, tedy nemusí docházet ke zdokonalování se na základě vlastní činnosti. Obecně se ale AI a autonomní systémy spíše překrývají.

[16] LIIVOJA, Rain et al. Autonomous Cyber Capabilities under International Law. NATO Cooperative Cyber Defence Centre of Excellence [online]. 2019 [cit. 29. 1. 2023]. Dostupné zde.

[17] Defence Innovation Board. AI principles: Recommendations on the ethical use of artificial intelligence by the Department of Defense [online]. 2020 [cit. 31. 1. 2023]. Dostupné zde.

[18] Článek 150. Evropský parlament. Usnesení Evropského parlamentu ze dne 12. února 2019 o komplexní evropské průmyslové politice v oblasti umělé inteligence a robotiky (2018/2088(INI)) [online]. [cit. 29. 1. 2023]. Dostupné zde.

[19] MORGAN, Forrest E. et al. Military Application of Artificial Intelligence: Ethical Concerns in an Uncertain World. RAND Corporation [online]. 2020 [cit. 27. 1. 2023]. Dostupné zde.

[20] Přesné zaměřovací systémy místo odpalování raket, které mohou zabít i civilisty. Použití autonomních dronů místo raketových systémů, aj.

[21] TADDEO, Mariarosaria et al, op. cit.

[22] TADDEO, Mariarosaria et al, op. cit.

[23] ALLEN, Greg a CHAN, Taniel. Artificial Intelligence and National Security. Belfer Center Study for Science and International Affairs [online]. 2017 [cit. 29. 1. 2023]. Dostupné zde.

[24] Odstrašení znamená, že aktér (např. stát) je schopen svého protivníka odradit od nějakého konání (např. útoku) tím, že ho přiměje věřit, že náklady tohoto konání převýší očekávaný výsledek. Jednoduše řečeno, aby stát dokázal odstrašovat, musí signalizovat zprávu, že se protivníkovi akce nevyplatí – a ten tomu musí uvěřit. Tato teorie dominovala během s tudené války, kdy se odstrašovalo jadernými zbraněmi (na základě efektu vzájemného zničení).

[25] SDI SENTIENT DIGITAL. The most useful military applications of AI [online]. N. d. [cit. 29. 1. 2023]. Dostupné zde.; ELIACIK, Eray. Guns and Codes: The era of AI-wars begins. Data Conomy [online]. 17. 8. 2022 [cit. 31. 1. 2023]. Dostupné zde.

[26] ALLEN, Greg a CHAN, Taniel, op. cit.