icon-search

Uczenie maszynowe i niesprawiedliwe oceny – co można z tym zrobić?

Jędrek Fulara 17.05.2018

Przez ostatnie lata jesteśmy świadkami rosnącej ekscytacji Sztuczną Inteligencją, a konkretnie jej dwiema technikami: maszynowym uczeniem i głębokim uczeniem. Coraz większa skuteczność tych technik bierze się z zaangażowania niespotykanych wcześniej w tej dziedzinie pieniędzy i zasobów ludzkich. Największe firmy IT inwestują miliardy, byle tylko nie zostać z tyłu za konkurentami. Coraz więcej dziedzin zostaje odmienionych przez zastosowanie w nich sztucznej inteligencji (AI) – a my zostajemy zmuszeni nagle do zastanowienia się, jaki to będzie miało wpływ na nasze życie.

Maszynowe uczenie znalazło bowiem zastosowanie w najnowocześniejszych systemach decyzyjnych. AI trafiło do banków, ubezpieczalni, administracji rządowej, szkolnictwa i prywatnych firm. Zastąpiła tam człowieka pod obietnicą wyższej wydajności. Decydując o przyznaniu kredytu, przyjęciu na uczelnię, cenie ubezpieczenia czy nawet ryzyku kryminalnej recydywy. Chcielibyśmy więc, by swoje decyzje systemy takie podejmowały w sposób neutralny i sprawiedliwy. Tylko czy jest to możliwe?

Odpowiedź na to pytanie nie jest w tym momencie łatwa. Problem tkwi bowiem w uczeniu. Badania nad sztuczną inteligencją koncentrują się dziś na tym, jak nauczyć maszyny niezależnego wykonywania działań, samodzielnego podejmowania decyzji, a nie tylko reagowania na wydarzenia według zaprogramowanych reguł. W tym celu sięga się po różne strategie, a jedną z najbardziej owocnych jest uczenie przez wzmacnianie. Maszynie wyznacza się pewien cel, np. odpowiednie sklasyfikowanie zdjęć, oraz dostarcza ogromny zbiór już sklasyfikowanych przez człowieka zdjęć. Początek jest trudny: maszyna przeprowadza klasyfikację, a następnie porównuje to co zrobiła z istniejącymi klasyfikacjami. Jeśli okazało się to dobre, zostaje nagrodzona, jej klasyfikacja jest „zapamiętana”. W przeciwnym wypadku przyjęta klasyfikacja zostaje odrzucona. Po tysiącach iteracji maszyna może osiągnąć skuteczność w ćwiczonym zadaniu porównywalną z człowiekiem. Niekiedy wyższą. Na pewno tańszą w użyciu.

Kolejne pytanie jakie należałoby zadać brzmi ,,Czy człowiek, który przygotował ten pierwotny zbiór danych do nauki jest taki skuteczny?” Ten okres intensywnego rozwoju technik maszynowego uczenia, który mamy już za sobą pokazał, że sztuczna inteligencja czasem podejmuje decyzje, z którymi mamy niestety problemy. Dlaczego? Niewinni ludzie byli oznaczani jako terroryści, kierowcy tracili prawa jazdy, pracownicy byli zwalniani, CV kandydatów odrzucane – tylko dlatego, że AI źle ich oceniło. Zła zaś ocena wcale nie wynikała z błędów w oprogramowaniu, lecz z bardzo trudnych do namierzenia błędów w szkoleniu, przede wszystkim dostarczenia zbioru danych, który sam w sobie zawierał to, co nazywamy w statystyce błędem systematycznym doboru próby (selection bias).

Maszynowa dyskryminacja

Jeśli sztuczna inteligencja jest szkolona na niewystarczająco losowej próbce populacji, dochodzi do sytuacji, w której niektórzy członkowie tej populacji są rzadziej, a inni częściej włączani do zbioru danych. Gdy zachodzi generalizacja tej wyuczonej selekcji, w decyzjach sztucznej inteligencji będą odzwierciedlały się te błędy, bez świadomości, że decyzje były niesprawiedliwe. Ale jak pociągnąć do odpowiedzialności algorytm, szczególnie jeśli nie da się odtworzyć jego działania krok po kroku? Tak jest w wypadku sztucznych sieci neuronowych.

W gromadzeniu i przetwarzaniu tych danych, na których szkolone są sztuczne inteligencje, wykorzystuje się techniki Big Data – często powstają tu zbiory liczące miliony elementów. Pod względem matematycznym i technologicznym zwykle nic nie można im zarzucić. Jednak do uniknięcia błędu doboru próby to może nie wystarczyć. W grę wchodzą bardzo delikatne czynniki społeczne, znacznie trudniejsze do sformalizowania.

Ciekawym przykładem jest stosowany w amerykańskim sądownictwie algorytm COMPAS firmy Northpointe. Ocenia on czy podejrzani i skazani mogą popełnić kolejne przestępstwa w przyszłości. Wygenerowane przez niego wskaźniki ryzyka wykorzystywane są przez sądy podczas podejmowania wyroków, ustalania wysokości kaucji czy warunkowego odroczenia wyroku. Na pierwszy rzut oka działaniu COMPAS-u nie można było niczego zarzucić – gdy jednak porównano ze sobą oceny dla białej i czarnej populacji, okazało się coś dziwnego.

Zarówno biali jak i czarnoskórzyskazani, którzy otrzymywali większe wskaźniki ryzyka zostawali recydywistami z takim samym prawdopodobieństwem. Jednak jak pokazała analiza niezależnej organizacji ProPublica, czarni skazani byli niemal dwukrotnie częściej oceniani jako prawdopodobni recydywiści niż biali – i w konsekwencji surowiej traktowani przez system sprawiedliwości. Z kolei biali recydywiści, którzy popełnili nowe przestępstwo w ciągu dwóch lat od pierwszego wyroku, byli dwukrotnie częściej niż czarni oceniani jako należący do grupy niskiego ryzyka. Producent oprogramowania podkreślał, że system jest dokładny bez względu na kolor skóry, pomijał jednak to, jak system jest niedokładny, jak często niewłaściwie ocenia kogoś jako należącego do grupy wysokiego ryzyka.

Co mogło być tego przyczyną? Według badających ten problem naukowców, COMPAS najprawdopodobniej wzmocnił rasowe podziały tkwiące w amerykańskim wymiarze sprawiedliwości. Projektanci sztucznej inteligencji potraktowali liczbę wyroków jako neutralny, obiektywny parametr, jednak daleko mu do tego. Osoby czarnoskóre są w USA znacznie częściej aresztowani w stosunku do liczby popełnionych przestępstw, częściej są zatrzymywani przez policję pod byle pretekstem, otrzymują też surowsze wyroki. Algorytm poszukując pewnego wzorca w danej mu rzeczywistości znalazł go, jednak nie zrozumiał czym ten wzorzec jest. A że decyzje COMPAS-u wpływały na działania organów ścigania, wzmacniało to negatywne oceny czarnoskórych osób – swoista pętla sprzężenia zwrotnego, w której system znajdował już tylko to, co oczekiwał znaleźć, zamiast tego, co faktycznie tam było.

Nic więc dziwnego, że już w 2014 roku w przygotowanym dla administracji prezydenta Obamy raporcie ostrzegano, że automatyczne podejmowanie decyzji wiąże się z trudnymi pytaniami o to, czy wynikająca z niego dyskryminacja może zostać wykryta, zmierzona i opanowana. Trudnymi? Być może to za mało powiedziane – wielu badaczy uważa, że obecnie nawet nie wiemy co jest problemem, który mielibyśmy tu rozwiązać. Przykładem mogą być algorytmy rozpoznawania twarzy. Świetnie sobie radzą z odróżnianiem od siebie starszych mężczyzn białej rasy, gorzej im idzie z rozpoznawaniem innych ras, kobiet, młodszych ludzi. W wypadku wykorzystania takich algorytmów w systemach monitoringu, oznacza to większe zagrożenie fałszywą identyfikacją ludzi z tych właśnie grup. I jak się wydaje, zwiększenie liczby młodych, czarnoskórych osób i kobiet w próbce badawczej niewiele pomoże – istnieje wiele obiektywnych czynników, które czynią twarze białych, starszych mężczyzn łatwiejszymi do rozpoznania.

Otworzyć czarną skrzynkę

W większości wypadków te automatyczne systemy decyzyjne są dziś tak złożone, że nawet ich twórcy nie są w stanie powiedzieć, jak dochodzą one do swoich wniosków. Wydaje się, że w wypadku takich sieci neuronowych uczących się przez wzmacnianie nie bardzo jest co badać pod spodem, tu nie ma żadnego „pod spodem” jak w wypadku normalnego oprogramowania działającego na zwykłych komputerach. Można jedynie przeprowadzać rygorystyczne testy, sprawdzając wyniki systemu i oceniając, czy nie są one zniekształcone przez jakiś systematyczny błąd, czy nie wpływają w odmienny sposób na różne grupy ludzi.

Jednak pojawiają się perspektywy na lepsze zrozumienie procesów zachodzących w tych „czarnych skrzynkach”. Informatycy z Berlina niedawno zaprezentowali narzędzie do analizy wnioskowań sieci neuronowych, Layerwise Relevance Propagation (LRP). Na wejściu otrzymuje ono decyzję sztucznej inteligencji, a zwrócić ma cały proces w którym do tej decyzji doszła. W założeniu LRP służyć ma analizie wnioskowań w diagnostyce onkologicznej, ale nawet w testach przeprowadzonych na bardziej trywialnych zastosowaniach AI.

Ciekawym przykładem było wykrywanie zdjęć koni. LRP dostało do odtworzenia wnioskowania dwóch różnych modeli sztucznej inteligencji, osiągających w tym zadaniu bardzo dobre wyniki. Okazało się, że jedna z AI faktycznie świetnie rozpoznaje końskie cechy na zdjęciach. Druga w swoim wnioskowaniu skupiła się jednak na kompletnie nieistotnej cesze – zbiorze pikseli występujących w narożniku zdjęcia. Po prostu włączone do zbioru treningowego fotografie koni miały znak wodny, i po tym znaku wodnym ze stuprocentową skutecznością AI rozpoznawało te zwierzęta.

Nie jest to pierwszy tego typu wypadek dziwnego wnioskowania sztucznej inteligencji – swego czasu spore zainteresowanie wzbudziła sieć neuronowa Google’a DeepDream do przetwarzania obrazków. Nauczyła się ona m.in. wyglądu sztangielek, a gdy miała sama „marzyć” o ich kształcie, okazało się, że we wszystkich marzeniach występują fragmenty ludzkiego przedramienia. DeepDream nigdy bowiem nie widział samego sztangielka, a jedynie w ręku kulturysty – uznał więc przedramię za nieodłączną część tego obiektu. Pokazuje to, jak ważne jest jednak zaglądanie w głąb procesów zachodzących w AI.

Ustawa na ratunek?

Podczas gdy informatycy szukają rozwiązań technicznych, prawnicy zastanawiają się, jak ochronić ludzi przed konsekwencjami złych decyzji sztucznej inteligencji. Wydaje się, że najważniejsze jest tutaj porzucenie przekonania o „obiektywnej wszechwiedzy” systemu – i prawo do odwołania się od decyzji, uznanej za krzywdzącą.

W teorii coś takiego obiecuje RODO, niebawem wchodząca w życie ogólna dyrektywa ochrony danych osobowych. Daje ona obywatelom państw Unii Europejskiej prawo do dowiedzenia się, gdy organizacje wykorzystują automatyczne wnioskowanie w jakichkolwiek dotyczących ich sprawach. Mówi też o prawie do wyjaśnienia danej decyzji, a nawet jej podważenia.

Wśród ekspertów od sztucznej inteligencji pojawiają się głosy, by powołać w ramach urzędów Unii Europejskiej wydzielony organ, czuwający nad poprawnym wykorzystaniem tych technologii w procesach decyzyjnych. We wszystkich dziedzinach uznanych za krytyczne, takich jak medycyna czy system sprawiedliwości, sztuczne inteligencje musiałyby przejść proces certyfikacji, dowodzący że spełniają standardy bezpieczeństwa i uczciwości.

Pozostaje jednak jeszcze jeden problem: kto będzie te standardy wyznaczał? Nierzadko niezadowolenie z decyzji podejmowanych przez AI bierze się tylko z tego powodu, że ludziom nie podobają się pewne właściwości świata, w którym żyją – chcieliby by był inny, bardziej sprawiedliwy. Technologia sprawiedliwości jednak zapewnić nie może, to nie jest ścisłe pojęcie. To co dla jednego będzie słusznym wyrokiem, drugi uzna za niesprawiedliwość. Dlatego choć nie wrócimy już raczej do czysto ludzkich procesów decyzyjnych, to te maszynowe będą budziły nie mniej kontrowersji niż ludzkie. Będą po prostu efektywniejsze, szybciej podejmowane, ale nie mniej kwestionowane – taka już bowiem natura ludzka.

Właściwe procesy dla automatycznych przewidywań

Nie wszystko jest stracone. Podczas gdy Big Data w coraz większym stopniu jest wykorzystywane do karmienia danymi modeli sztucznej inteligencji, podejmujących decyzję o naszych życiach, równie gorączkowo poszukuje się rozwiązań, które pozwolą dopilnować odpowiedzialności AI. Przoduje w tym amerykańska Federalna Komisja Handlu – pracujący dla niej badacze słusznie zauważyli, że nie można traktować procesu automatycznego wnioskowania jako całości i względem tej całości przyznawać konsumentom jakieś prawa.

Procesy automatycznych wnioskowań składają się bowiem przynajmniej z czterech etapów, i na każdym z tych etapów należy zainteresowanym podmiotom przyznać inne prawa. Kolejno są to:

1) gromadzenie danych o ocenianych osobach,

2) wnioskowanie na podstawie zgromadzonych danych o ocenianych osobach,

3) dostarczanie automatycznych wnioskowań do ludzkich decydentów,

4) wykorzystanie przez ludzkich decydentów wyników wnioskowania maszynowego.

Każdy z tych kroków musi mieć specyficzne dla siebie zabezpieczenia. Już na samym początku konieczne jest objęcie zbiorów danych szkoleniowych dla AI takimi samymi regulacjami jak każdych innych zbiorów wrażliwych danych osobowych, z zachowaniem prawa jednostek do wglądu, kwestionowania i odrzucania danych niewłaściwych. Niedopuszczalne powinno być też ukrywanie się za tajemnicą handlową przez brokerów danych – dziś nierzadko odmawiają oni dostępu zainteresowanym ze względu na zawarte umowy o poufności.

Drugi etap, maszynowego wnioskowania, powinien być jak najbardziej publiczny, a wszystkie procesy możliwe do niezależnej analizy. Jeśli niemożliwe jest to z powodów technicznych, wówczas owocne byłoby wykorzystanie systemów do wnioskowań o wnioskowaniach AI, takich jak wspomniany wcześniej LRP. Jeśli przeszkodą byłyby tajemnice handlowe, wówczas konieczne jest powołanie urzędów certyfikacyjnych, które przed wdrożeniem takiej własnościowej AI przeprowadzałyby audyty z zachowaniem należytej poufności.

Kolejne etapy są już w dużym stopniu zależne od rozstrzygnięć lokalnego prawa, jednak prawnicy zgadzają się, że zarówno na bazie prawa amerykańskiego jak i europejskiego można wymagać przynajmniej informowania osób, których automatyczne wnioskowanie dotyczy o jego zastosowaniu.

Przede wszystkim jednak warto zadbać o licencjonowanie zbiorów danych wykorzystywanych do maszynowego wnioskowania przez instytucje zaufania publicznego.

Uporządkowanie tego zagadnienia od strony prawnej po obu stronach Atlantyku to jeszcze przynajmniej trzy do pięciu lat. Jest to jednak konieczne, gdyż jak pokazała ostatnia głośna afera z Facebookiem, nie można liczyć na to, że branża ureguluje się sama w kwestii pozyskiwania i przetwarzania dotyczących nas danych. Zanim to jednak nastąpi, każdy z nas powinien uzbroić się w krytycyzm wobec maszynowego wnioskowania. Za każdym razem, gdy usłyszymy, że oprogramowanie czy AI pomogły podjąć daną decyzję, powinniśmy pytać, czy oprogramowanie mogło wpłynąć na tę decyzję. Szczególną rolę odegrać tu muszą etyczni inżynierowie i programiści, dysponujący już dzisiaj środkami technicznymi, by wejrzeć w działanie zamkniętych „czarnych skrzynek”. Działając w ten sposób możemy w sposób odpowiedzialny włączyć sztuczne inteligencje do współzarządzania naszym światem, uzyskując rezultaty pozostające w harmonii z ludzkimi wartościami i wpływające na optymalizację procesów biznesowych.

Komentarze: 0

Notice: Korzystanie z Motyw nieposiadający comments.php uznawane jest za przestarzałe od wersji 3.0.0! Nie istnieje żadna alternatywa. Proszę zawrzeć w motywie szablon comments.php. in /var/www/html/pl/wp-includes/functions.php on line 4597

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *