Whether the data subject has the right to obtain an explanation in the case of automated decision-making?
Ešerytė, Gintarė |
The development of modern technology and a significant amount of accumulated data have led to the rapid growth of artificial intelligence. One of its possibilities is to outsource decision making to AI systems. This method is called automated decision-making. The first chapter reviews how solutions of today in medicine, law enforcement, policing or banking are transmitted to sophisticated predictive algorithms that can make a decision often with little supervision from the human being. However, due to their novelty and complexity, these automatic systems are not extensively investigated and hard to understand. There is doubt about the neutrality of automated decisions. Accordingly, the second chapter of this master’s thesis reviews researches on automated decision-making that discloses discrimination in algorithm-based conclusions. Moreover, this section analyses the reasons for the bias of algorithms. Based on the fact that algorithms can discriminate, it is essential to know how the automated decision was obtained. The problem is that the operation of such programs is hard to rationalize and explain, either because of their complexity is difficult to perceive it or because such algorithms are protected by intellectual property. The third chapter analyses whether the data subject is entitled to an explanation in the case of automated decision-making, including profiling, in the context of the recently entered into force General Data Protection Regulation. This right to obtain an explanation is not directly indicated in the mandatory text of the Regulation. Though, the systematic analysis of GDPR and other sources in this thesis established that the data subject has the right to an explanation in accordance with the Regulation. However, it has also been determined that the criteria derived from the GDPR have to be fulfilled when it is intended to exercise this right. Hence, the fourth chapter analyses and defines the scope of limitations to exercise the right to an explanation. Therefore, having determined that the right to an explanation exists when the required criteria are met, the purpose of this master’s thesis has been achieved.
Šiame magistriniame darbe yra analizuojama automatizuotų sprendimų priėmimo problematika, kuri lemia algoritmu priimtų sprendimų paaiškinimo svarbą. Darbe siekiama nustatyti kokia apimtimi individui, kuriam taikomas sprendimas priimtas automatiniu būdu, turi būti užtikrinama teisė į sprendimo paaiškinimą bei su kokiais apribojimais susiduriama, siekiant ją įgyvendinti. Teisė gauti paaiškinimą kildinama iš bendrojo duomenų apsaugos reglamento (BDAR). Nors minėta teisė ir nėra aiškiai įvardinama, klausimas dėl jos egzistavimo sukėlė plačias mokslininkų diskusijas. Atsižvelgiant į šiame darbe nagrinėjamas automatizuoto sprendimų priėmimo problemas, svarbu išsiaiškinti dėl teisės gauti paaiškinimą egzistavimo ir galimybės ja pasinaudoti. Siekiant atsakyti į darbe keliamą klausimą, buvo svarbu išsiaiškinti kaip priimami automatizuoti sprendimai. Pirmojoje darbo dalyje apibrėžiama automatizuoto sprendimo priėmimo sąvoka bendrojo duomenų apsaugos reglamento ir šio darbo kontekste. Nurodomas šių sprendimų priėmimo būdo pritaikomumas itin svarbiose visuomenės kasdienio gyvenimo srityse, tokiose kaip: įdarbinimas, bankininkystė, medicina ar teisėsauga. Svarbumą pagrindžia šioje dalyje nagrinėjama State v. Loomis byla, kur asmuo buvo nuteistas šešerių metų laisvės atėmimo bausme, remiantis COMPAS rizikos nustatymo programos sprendimu, jog ateityje asmuo bus linkęs į recidyvą. Dirbtinio intelekto progresą priimant sprendimus paskatino sparti savaiminio mašinų mokymosi raida, ištobulėjusi dėl naujųjų technologijų pažangos ir susikaupusio didelio duomenų kiekio. Šioje dalyje nagrinėjamas savaiminio mokymosi metodas vadinamas mašininiu mokymusi (angl. machine learning), o dar sudėtingesnė jo atšaka – giliuoju mokymusi (angl. deep learning). Šios technologijos pagerino programų, gebančių automatiškai priimti sprendimus, tikslumą, tačiau dėl ypatingai sudėtingo veikimo principo tapo sunkiai suprantamos net ir patiems tokių sistemų kūrėjams. Pirmojoje dalyje nagrinėjami pavyzdžiai įrodo, kad tobulėjant gebėjimui automatiškai priimti sprendimus, tolygiai mažėja tokių sprendimų skaidrumas ir proceso veikimo suvokimas. Neaiškus algoritmais paremtų sistemų veikimas sukuria juodosios dėžės (angl. black box) problemą, kas sukelia nepasitikėjimą automatizuotu sprendimų priėmimu. Nors automatiškai atliktas sprendimas atrodo patikimas ir neutralus, nes yra priimamas remiantis logine algoritmo seka, tačiau antroji darbo dalis atskleidžia galimą algoritmų šališkumą, kuris kelia diskriminavimo pavojų prieš įstatymo saugomas visuomenės grupes. Šioje darbo dalyje apibrėžiama kas laikoma tiesiogine ir netiesiogine diskriminacija bei įstatymu ginamos vertybės. Darbe pateikiami analizuojami pavyzdžiai, pagrindžiantys algoritmų šališkumą. Vieno darbe nagrinėjamo tyrimo rezultatai atskleidė, jog naudojant veidų atpažinimo programą, algoritmai menkai atpažįsta arba iš viso neatpažįsta juodaodžių moterų veidų, lyginant su baltaodžių vyrų veidais. Kitas darbe aptariamas tyrimas analizavo COMPAS rizikos nustatymo įrankį, naudojamą teismo procese. Aprašomo tyrimo metu buvo nustatyta, kad šis įrankis yra šališkas ir diskriminuoja žmones rasiniu pagrindu. Taip pat, šioje dalyje buvo analizuojamos algoritmų šališkumo priežastys. Nustatyta, kad automatiniu būdu priimami sprendimai gali nebūti neutralūs, dėl trūkumų turinčių algoritmo apmokymui skirtų duomenų. Todėl, tokie duomenys gali lemti diskriminacinį poveikį, tais atvejais kai inžinieriai pasirenka netinkamus pradinius duomenis algoritmo apmokymui arba pasitelkiami duomenys yra istoriškai šališki. Neutralumas neišlaikomas dėl klaidų atsirandančių „mokant“ algoritmą. Pavyzdžiui, veidų atpažinimo programos dažniausiai yra apmokomos baltaodžių vyrų, kas lemia geresnį jų veidų atpažinimą palyginti su kitų rasių ir etninių grupių veidais. Dėl to, naudojant taip apmokytas veidų atpažinimo sistemas oro uostuose arba teisėsaugoje, žmones, priklausančius ne baltaodžių rasei, automatizuotos programos gali identifikuoti kaip patenkančius į didesnę rizikos grupę. Tai lemia, kad teisėsaugos pareigūnai dažniau stabdo ir tikrina tokius asmenis, nepriklausomai nuo to, ar jie kelia realų pavojų. Kitas atvejis, kai automatizuotos sistemos gali sukurti prielaidas diskriminacijai – tai tam tikros visuomenės grupės atžvilgiu šališkų, istorinių duomenų naudojimas. Kai algoritmas apmokomas remiantis tokiais duomenimis, jo pateikiamas sprendimas irgi gali būti šališkas ir įtakoti diskriminacijos atsiradimą. Šioje dalyje nustatyta, kad dėl neutralių kriterijų koreliacijos su tam tikroms socialinėms grupėms būdingais požymiais, sunku atpažinti galimą diskriminaciją, kuri randasi net ir pašalinus specialių kategorijų asmens duomenis. Neutralių kriterijų koreliacijos pagrindu, asmenys gali būti netiesiogiai ir netyčia diskriminuojami. Pirmoje ir antroje darbo dalyje nustatytos neskaidrumo ir šališkumo priežastys pagrindžia, kodėl yra svarbu gauti paaiškinimą apie automatizuotų sprendimų priėmimo procesą. Trečiojoje darbo dalyje analizuojamas bendrasis duomenų apsaugos reglamentas (BDAR) ir iš jo kildinama teisė į paaiškinimą. Šios teisės atsiradimas sukėlė diskusiją tarp mokslininkų. Vieni teigia, kad nors teisė į paaiškinimą nėra aiškiai nurodyta – ji randasi sąveikoje su kitais reglamento straipsniais ir konstatuojamosiomis dalimis. Tuo tarpu kiti mokslininkai ginčija tokios teisės egzistavimą ir nurodo, kad duomenų subjektas turi teisę tik būti informuojamas apie automatizuoto sprendimo egzistavimą. Sistemiškai analizuojant mokslininkų darbus ir nuomonę, bendrąjį duomenų apsaugos reglamentą ir 29 straipsnio Darbo grupės išleistas gaires dėl „Automatinio individualių sprendimų priėmimo ir profiliavimo“ – galima daryti išvadą, kad duomenų subjektas turi teisę gauti paaiškinimą, kai sprendimas yra priimamas taikant automatizuotą sprendimų priėmimą. Ši teisė atsiranda iš BDAR konstatuojamosios dalies 71 straipsnio bei kartu interpretuojant 13(2)(f), 14(2)(g), 15(1)(h) ir 22 reglamento straipsnius. Išanalizavus 29 straipsnio Darbo grupės gaires, šioje dalyje išskiriami kriterijai, pagrindžiantys teisės į paaiškinimą egzistavimą, t.y., 1) duomenų valdytojas turi paaiškinti, kaip veikia automatizuotas sprendimų priėmimo procesas; 2) paaiškinimas turi būti suprantamas duomenų subjektui; 3) algoritmo sudėtingumas nėra pasiteisinimas paaiškinimo nepateikimui. Tačiau yra keliami tam tikri reikalavimai, apsunkinantys duomenų subjekto teisę gauti paaiškinimą dėl automatiškai priimto sprendimo. Teisės į paaiškinimą ribos aptariamos ketvirtoje šio darbo dalyje. Kaip nustatyta, asmuo turi teisę gauti paaiškinimą, tačiau tik tokiu atveju, jei 1) automatizuotas sprendimas buvo priimtas be žmogaus įsikišimo; 2) sprendimas turi teisinę galią arba yra tokio pat reikšmingo poveikio; 3) teisės į paaiškinimą sukuriama pareiga duomenų valdytojui yra proporcinga ir nepagrįstai neapriboja jo teisių. Analizuojant pirmąjį kriterijų, buvo nustatyta, kad žmogaus įsikišimas, tarp automatiškai priimto sprendimo ir duomenų subjektui pateikiamo rezultato, gali būti tik nežymus arba formalus. Tai lemia, kad net ir esant žmogaus įsikišimui, reali įtaka galutiniam sprendimui gali būti neužtikrinama. BDAR nepateikia kas yra laikytina pakankamu žmogaus įsikišimu, kai sprendimas yra priimamas automatiškai. Šiame darbe keliamas klausimas, kada turėtų būti laikoma, jog individo įsikišimas panaikina duomenų subjekto teisę gauti paaiškinimą, kaip buvo priimtas automatinis sprendimas. Nustatyta, kad net ir minimalus žmogaus įsikišimas gali panaikinti duomenų subjekto teisę gauti paaiškinimą. Antrojo kriterijaus įgyvendinimas susijęs su priimto sprendimo reikšme. Šiuo atveju, norint gauti paaiškinimą, turi būti įrodyta, kad atitinkamas sprendimas asmeniui sukėlė teisines ar panašiai reikšmingas pasekmes. Tačiau, taikant automatizuotą sprendimų priėmimą, ne visuomet galima lengvai identifikuoti jų sukeliamus padarinius. Taip gali nutikti, kai, pavyzdžiui, internete yra nustatoma tikslinė auditorija, kuriai atitinkant tam tikrus kriterijus rodoma jai adresuota informacija, reklama ar skelbimai. Tikslinės auditorijos nustatymas nėra draudžiamas įstatymu, tačiau iš to kylanti diskriminacija yra draudžiama. Nesant specialaus tyrimo, vartotojas apie tokį automatizuotą sprendimą gali ir nežinoti. Tai pagrindžia šiame skyriuje aptariamas tyrimas, kuris nustatė, kad Google rodomas darbo skelbimas aukštoms ir gerai apmokamoms pareigoms užimti buvo beveik šešis kartus daugiau rodomas vyrams, nei moterims. Remiantis Europos Sąjungos teise, tai yra pripažįstama kaip diskriminacija, kuri sukelia teisines ar panašiai reikšmingas pasekmes. Tačiau, individui apie tai nežinant ir neskundžiant tokio elgesio, kyla klausimas, ar tokie atvejai bus nagrinėjami įsigaliojus BDAR. Šis pavyzdys skatina abejoti, ar teisė gauti paaiškinimą galės būti užtikrinama, kai asmuo nežino apie jam kylančias teisines pasekmes. Taip pat, šioje dalyje siekiama atriboti, kas turėtų būti laikoma teisiškai ir panašiai reikšmingu poveikiu, o kas ne, tuomet, kai asmuo nežino apie priimamų sprendimų sukeliamus padarinius. Trečiasis kriterijus, kuris turi būti įgyvendintas siekiant pasinaudoti teise į paaiškinimą yra reikalavimas, neproporcingai neapriboti duomenų valdytojo teisių ir interesų. Kai taikomas automatizuotas sprendimų priėmimas, duomenų valdytojo žinios, kaip veikia sprendimus priimanti programa, gali būti saugomos intelektinės nuosavybės teise. Tam tikrais atvejais, siekiant suteikti duomenų subjektui sprendimo priėmimo proceso paaiškinimą, duomenų valdytojas turi atskleisti intelektinės nuosavybės teise saugomą informaciją, kas pažeistų jo interesus. Dėl to duomenų subjekto teisė gauti paaiškinimą konkuruoja su duomenų valdytojo interesu išsaugoti intelektinę nuosavybę. Būtent dėl šios priežasties, State v. Loomis byloje, kaltinamojo prašymas sužinoti, kaip ir kokiu pagrindu buvo priimtas automatizuotas sprendimas naudojantis rizikos nustatymo įrankiu COMPAS, teismo buvo atmestas remiantis, kad programos veikimas yra saugomas patento ir komercinės paslapties. Šioje magistrinio darbo dalyje nustatyta, kad siekiant išsiaiškinti kieno teisės, duomenų subjekto ar duomenų valdytojo turėtų būti užtikrinamos, kiekvienu konkrečiu atveju reikia spręsti remiantis proporcingumo stricto sensu testu, t.y., turi būti atsižvelgiama ar keliamas reikalavimas, duomenų valdytojui pateikti paaiškinimą duomenų subjektui, apie sprendimo priėmimo logiką, nėra neproporcingai didelis palyginus su duomenų subjekto gaunama nauda. Taigi, išanalizavus teisės į paaiškinimą apribojimus, galima teigti, kad bendrajame duomenų apsaugos reglamente numatoma teisė į paaiškinimą egzistuoja tik tuomet, kai situacija išpildo visus minėtus kriterijus.