Într-un document emis recent de Departamentul Apărării din SUA sunt definite sistemele de arme autonome, respectiv sistemele de arme semi-autonome.
Astfel, un sistem autonom este cel care, o dată activat, poate selecta și angaja în luptă/distruge ținte fără intervenția unui operator uman. Aici sunt incluse și sistemele autonome supravegheate de un operator uman care are posibilitatea de a anula deciziile sistemului autonom.
Un sistem semi-autonom este definit ca fiind sistemul care poate angaja doar țintele alese de un operator uman. Iar aici sunt incluse sistemele capabile de operațiuni automate de urmărire și identificare a potențialelor ținte, inclusiv de evidențiere către operatorul uman și de prioritizare a ordinii în care pot fi angajate eficient țintele identificate. Multe astfel de sisteme, așa cum sunt cele „fire and forget” – trage și uită sau cele „lock-on-after-launch” – alegerea țintei după lansare, sunt deja operaționale.
Am avut ocazia de a vedea la lucru un sistem de comandă și control al unui sistem antiaerian occidental și, în opinia mea, un astfel de sistem poate funcționa deja în mod semi-autonom, reducând foarte mult gradul de solicitare al operatorului uman. Practic, multe operațiuni se desfășoară automat ceea ce permite atât reducerea numărului de operatori umani ai unui astfel de sistem cât și fenomenul de blocare a operatorului în fața supraîncărcării cu prea multe informații.
Din câte știu eu, până acum, nicio armată nu a introdus în serviciul activ sisteme de luptă autonome. Majoritatea sistemelor de luptă fără pilot/echipaj aflate în uz sunt pilotate de la distanță, doar unele operațiuni fiind desfășurate în mod autonom – așa cum sunt de exemplu aterizarea și decolarea sistemelor aeriene fără pilot. Decizia de a ucide aparține întotdeauna operatorului uman. De aici provin și vulnerabilitățile acestor sisteme fără pilot/echipaj care trebuie să comunice în permanență cu stația de control de la sol. Simplu spus, aceste comunicații pot fi interceptate sau bruiate ceea ce poate conduce la pierderea sistemului respectiv. Un exemplu celebru este pierderea de către SUA a unui sistem aerian fără pilot RQ-170 Sentinel în Iran, în decembrie 2011.
O altă problemă specifică sistemelor autonome/automatizate este faptul că se bazează pe informațiile furnizate de senzori multipli care se pot defecta sau funcționa necorespunzător. Problemele complexe generate de computerele care controlează informațiile furnizate de senzori și legile multiple pe care le aplică au fost deja evidențiate cu ocazia mai multor incidente/accidente aviatice de notorietate. Unele dintre primele incidente de acest tip au fost generate de Airbus A-330, un avion revoluționar la vremea lui – zborul Qantas 72 sau zborul Air France 447. Mie mi-au rămas întipărite în minte cuvintele unui pilot dintr-un episod „Dezastre în aer”: „What’s the plane doing?” Această scurtă propoziție evidențiază nenumăratele provocări generate de operarea unor sisteme automatizate/semi-autonome fără o înțelegere profundă și adecvată a modului lor de funcționare. De dezastrul Boeing 737 MAX nici nu mai amintesc…
Revenind la sistemele militare, Departamentul apărării american dorește să implementeze politici transparente cu privire la utilizarea armelor autonome bazate pe acest cuvânt atât de uzitat în ultima vreme – inteligența artificială. Adică, roboți care pot ucide oameni. Despre asta este vorba în Directiva 3000.09 – Autonomy in Weapon Systems, recent emisă. Mai jos declarația doamnei Kathleen Hicks, deputy secretary of defense, pe acest subiect:
DoD is committed to developing and employing all weapon systems, including those with autonomous features and functions, in a responsible and lawful manner. Given the dramatic advances in technology happening all around us, the update to our Autonomy in Weapon Systems directive will help ensure we remain the global leader of not only developing and deploying new systems, but also safety.
Pe scurt, Pentagonul încearcă să prevină un scenariu de genul Terminator încercând să diminueze probabilitatea și consecințele unor posibile erori ale roboților ucigași autonomi/semi-autonomi de natură a conduce la tragedii nedorite. De altfel, tragedii s-au și întâmplat în condițiile utilizării extensive a sistemelor aeriene fără echipaj (pilotate de la distanță) în detrimentul forțelor speciale, mai ales în cadrul campaniei împotriva terorismului. Câteva informații suplimentare aici.
Mai departe, Directiva statuează că “Autonomous and semi-autonomous weapon systems will be designed to allow commanders and operators to exercise appropriate levels of human judgment over the use of force (…) with appropriate care and in accordance with the law of war, applicable treaties, weapon system safety rules, and applicable rules of engagement.” Mda…
Deși Directiva nu interzice incorporarea inteligenței artificiale în sistemele de luptă autonome/semi-autonome impune totuși respectarea principiilor etice de utilizare a inteligenței artificiale. Îhî…
Subiectul este dezbătut și în cadrul Națiunilor Unite, de fapt cam toată lumea dezbate fără a se întâmpla nimic concret în sensul adoptării unei legislații internaționale în materie.
Isaac Asimov a scris cele trei legi ale roboticii în 1942 (seria Roboții). Prima Lege – „Un robot nu poate răni o ființă umană sau, prin inacțiune, să permită ca o ființă umană să fie rănită”, a Doua Lege – „Un robot trebuie să se supună ordinelor date de ființele umane, cu excepția cazului în care aceste ordine ar intra în conflict cu prima lege” și a Treia Lege: „Un robot trebuie să își protejeze propria existență, atâta timp cât această protecție nu intră în conflict cu Prima sau a Doua Lege”. Cine este familiar cu universul roboților lui Asimov știu că a fost formulată și Legea Zero: „Un robot nu are voie să pricinuiască vreun rău umanității sau să permită prin neintervenție ca umanitatea să fie pusă în pericol.” De menționat că Legea Zero prevalează și a fost formulată de… un robot.
Bineînțeles, legile de mai sus sunt pură ficțiune. Pe de altă parte, pe măsură ce tehnologia roboților ucigași avansează, aceste legi încep să capete din ce în ce mai multă relevanță în viața reală. De pildă, NICE, o companie de tehnologie, automatizări etc, a formulat următoarele legi (preluate în română de aici):
Prima Lege: Roboții trebuie să fie proiectați doar pentru a avea un impact pozitiv. Luând în considerare impactul social, economic și de mediu, fiecare proiect care va implica roboți ar trebui să aibă cel puțin un scop pozitiv clar definit. Pare evident? Nu e. De exemplu, Rusia și China au alte planuri – și dacă pentru Moscova invadarea vecinilor cu roboți ucigași o fi scop pozitiv, pentru noi prin Europa de Est cert nu-i.
A Doua Lege: Roboții trebuie să fie proiectați să nu țină cont de identitățile de grup. Poate pare cam prea SJW, dar nu-i. O companie americană ce folosea IA pentru a selecta CV-uri a descoperit că nu mai angaja pe nimeni de culoare. De ce? IA-ul văzuse statistic faptul că doritorii din unele cartiere avuseseră în trecut rata foarte mică de calificare, așa că-i elimina din start. O concluzie matematică perfect rațională, bazată pe statistici. Din anii 50-60, când funcționa segregarea – dar robotul nu știe să interpreteze și contextul datelor. Ce zic ele matematic, aia crede. Dar dacă vii azi din acel cartier și totuși ai făcut o școală, poate în cartierul vecin? Și ești calificat, dar practic nu mai exiști? Sună puțin PKD, nu?
A Treia Lege: Roboții trebuie să fie proiectați pentru a reduce la minim riscul de vătămare individuală. Adică algoritmii, procesele și deciziile încorporate în roboți ar trebui să fie transparente, iar oamenii să le poată audita și controla. Dacă un robot pune în pericol un om într-o situație individuală, alt om ar trebui să poată verifica și corecta procesele, pentru a preveni incidentele viitoare. Aici, zic eu, e cam Prima Lege de Asimov, doar că ceva mai flexibilă (spre binele robotului, care nu ar mai risca direct dezasamblarea, ci doar reprogramarea rutinei vinovate).
A Patra Lege: Roboții trebuie să funcționeze doar pe date din surse verificate. Roboții ar trebui să funcționeze numai pe baza unor date din surse cunoscute, de încredere și declarate transparent, cu garantarea posibilității de a ajunge la sursa originală. Aici probabil chinezii vor plânge puțin, dar vor fi evitate și multe scenarii cyberpunk…
A Cincea Lege: Roboții trebuie să fie proiectați pentru a fi controlabili și administrabili. În traducere, administrabili adică utilizatorul uman să fie informat corect despre toate aptitudinile și limitările sistemului – și aici rămânem fără multe scenarii SF, când robotul poate mai multe decât știe stăpânul… Iar controlabili în sensul că accesul la ei trebuie să fie doar cu autentificare și să aibă sisteme de apărare, care să monitorizeze și să alerteze când se încearcă editarea softului. O idee de bun-simț, de altfel, dar deloc obligatorie azi.
Ca de obicei, legislația nu poate ține pasul cu evoluția rapidă a tehnologiei, ceea ce nu face decât să creeze zone gri care, mai apoi, sunt exploatate de actorii statali sau non-statali mai mult sau mai puțin bine intenționați. 5G va aduce noi și noi oportunități pentru extinderea utilizării sistemelor autonome/semi-autonome, atât în mediul civil, cât și în mediul militar. Nicio lege actuală nu ne spune ce se întâmplă în cazul în care o mașină autonomă produce un accident soldat cu victime umane. Similar, sistemele militare autonome/semi-autonome sau chiar pilotate de la distanță nu se regăsesc în legislația internațională ceea ce va ridica o multitudine de probleme, așa cum au fost situațiile în care aceste sisteme au fost capturate de actori statali/non-statali în baza unor argumente destul de subțiri…