Als je een vrouw bent of iemand met een andere huidskleur, dan is er 35% kans dat je verkeerd geïdentificeerd wordt.
Digitale gezichtsherkenning wordt stilaan een alomtegenwoordige technologie. Velen kennen het vooral van kleinere toepassingen. Zo hoef je sommige smartphones hoef je niet te beveiligen met een pincode, maar herkennen ze jouw gezicht. Ook heel bekend is de gezichtsherkenning van Facebook, die je vrienden automatisch aanduidt op een foto. Maar het gaat veel verder dan dat. Het wordt steeds meer een standaardonderdeel van allerhande beveiligingssystemen in winkels, luchthavens en andere publieke plaatsen.
Het gebruik van de technologie roept bijgevolg allerhande vragen op over onze privacy. Verschillende mensenrechtenorganisatie trokken terecht aan de alarmbel en zorgden voor maatschappelijk debat. In dat debat blijft echter onderbelicht dat dergelijke technologie dikwijls ook bestaand onrecht verder in de hand werkt. Veelal veronderstelt men dat zo’n technologie neutraal te werk gaat maar in de realiteit blijkt het maatschappelijke problematieken zoals racisme te versterken.
In een recente podcast episode van Today Explained ging Sean Rameswaram dieper op dit alles in. Hij sprak erover met journaliste Sigal Samuel die belangrijke technologische ontwikkelingen opvolgt voor Vox, een interessant Amerikaans nieuwsmedium dat vooral extra duiding wil brengen. De kwesties die ze samen bespraken, vonden we zo pertinent dat we een deel van hun gesprek vertaalden. De volledige, Engelstalige podcast kan je hier beluisteren.
Sean: Hoewel sommigen angst hebben voor de technologie, vinden anderen het natuurlijk een goede zaak. Ze zien het als een extra beveiliging en een hulp voor de politie die met grotere zekerheid mensen kan opsporen.
Sigal: Eerst en vooral, zelfs al ben je een brave burger met een aureooltje boven het hoofd die nooit iets uitspookt, dan nog mag je wel wat bezorgd zijn over die technologie. Want digitale gezichtsherkenning werkt niet altijd even goed. Het is redelijk accuraat wanneer je een witte man bent. De technologie zal dan ongeveer 1% van de keren een fout maken. Maar als je een vrouw bent of iemand met een andere huidskleur, dan is het veel erger. Dan is er namelijk 35% kans dat je verkeerd geïdentificeerd wordt.
Vorig jaar, bijvoorbeeld, deed de American Civil Liberties Union enkele testen met Rekognition, de digitale gezichtsherkenning van Amazon. Daaruit bleek dat 28 leden van het Amerikaans Congres onjuist in verband werden gebracht met politiefoto’s van aangehouden personen. Dat soort fouten komt vooral voor omdat de artificiële intelligentie (AI, nvdr) van dergelijke systemen op data ‘getraind’ worden die op voorhand bevooroordeeld is tegen mensen met een andere dan een witte huidskleur. Wanneer je meer foto’s in het systeem invoert van witte mannen, wordt het systeem er ook beter in om hen te identificeren. Dus ook omgekeerd: als je in de AI-systemen minder beelden toevoegt van vrouwen en mensen met andere huidskleuren, dan gaat men ze ook minder juist identificeren.
Sean: Was er een paar jaar geleden niet zo’n verschrikkelijk voorval waarbij Google foto’s van zwarte mensen automatisch onder de categorie ‘gorilla’s’ ging klasseren?
Sigal: Inderdaad. Google liet meteen weten dat het om een bug ging. Hun systeem stond nog niet volledig op punt, zeiden ze. Maar het is natuurlijk één van de meest sprekende voorbeelden van de manier waarop dat soort systemen heel fout kunnen uitdraaien.
Sean: Kan je nog een ander voorbeeld geven?
Sigal: Op dit moment is er het eigenaardige proces van Ousmane Bah. Dat is een tiener die Apple voor miljoenen dollars voor het gerecht daagt. De digitale gezichtsherkenning van het bedrijf had hem aan een reeks diefstallen in verschillende Apple winkels gelinkt.
Sean: Ik veronderstel dat hij niet wit was?
Sigal: Inderdaad. En op zekere dag klopte de politie om 4 uur ‘s ochtends op de deur. Hij werd door verschillende staten in de VS opgeroepen in verband met diefstallen waar hij helemaal niets mee te maken had. Het hele gebeuren bezorgde hem logischerwijs behoorlijk wat stress. Daar klaagde hij Apple voor aan.
Sean: En wat was het antwoord van Apple?
Sigal: Apple ontkent dat het in zijn winkels technologie voor gezichtsherkenning gebruikt. Ousmane beweert het omgekeerde en baseert zich daarbij trouwens op de hypotheses van de politie-inspecteurs. Dus wat de waarheid ook is in het specifieke geval van deze dure rechtszaak, het is in elk geval tekenend voor een grotere golf van verzet tegen de opkomst van deze technologie.
Sean: Waarom maken de mensen achter de technologie in bedrijven als Amazon of overheidsagentschappen niet gewoon accurater? Waarom voegen ze niet meer afbeeldingen toe van witte vrouwen, zwarte vrouwen en zwarte mannen?
Sigal: Tot op zekere hoogte hebben ze inderdaad geprobeerd om meer types van gezichten in hun systemen toe te voegen, maar dat is slechts een deel van het probleem. Een ander deel is het feit dat die systemen bestaande vooroordelen uit de samenleving ook versterken. De artificiële intelligentie wordt immers door mensen geprogrammeerd. Zodus, wanneer sommige minderheden in het verleden overmatig door de politie gecontroleerd werden en die data vervolgens in het systeem ingevoerd werd, dan zal de artificiële intelligentie die bevooroordeeldheid ook overnemen.
Sean: Zijn niet-witte minderheden zich wel bewust van het feit dat dit gebeurt? En als ze dat zijn, maakt het hen dan niet ongelooflijk kwaad?
Sigal: Zeker. Moslimgemeenschappen en mensen zonder papieren in de VS zijn op dit moment bijzonder bezorgd over dit soort technologie. De moslimgemeenschap uit Californië, bijvoorbeeld, heeft zich in dit dossier vastgebeten. Ik had er onlangs een gesprek over met een werkneemster van de Raad voor Amerikaans-Islamitische Relaties. Zij vertelde me dat mensen zich gaan afvragen of ze niet door dat soort digitale gezichtsherkenning in de gaten worden gehouden wanneer ze naar de moskee gaan. Dat is niet onbegrijpelijk natuurlijk. Sinds 9/11 kregen we immers al dikwijls te horen dat inlichtingendiensten moskeeën in de VS systematisch infiltreren en monitoren. Dat zorgt er dus voor dat sommige moslims schrik krijgen om hun gezicht in dat soort publieke plaatsen te laten zien.
Sean: Hebben we ook concrete aanwijzingen dat men vandaag die technologie effectief al inzet om specifieke etnische of religieuze gemeenschappen te viseren?
Sigal: Voor zover ik weet zijn daar nog geen concrete bewijzen van. Maar de kwestie treedt steeds meer op de voorgrond omdat moskeeën, kerken en synagogen de laatste tijd net dikwijls het mikpunt waren van schietpartijen en terreurtragedies. Daardoor krijgen ze vaak extra beveiliging en pleiten sommigen ervoor om dat aan te vullen met digitale gezichtsherkenning. Anderen gaan daar dan weer tegen in omdat ze schrik hebben dat zoiets zich uiteindelijk tegen hen gaat keren en dat zij zelf de groep worden die men controleert.
Sean: Dus zelfs al zorgen we ervoor dat de technologie 100% accuraat werkt, dan lijkt het erop dat gezichtsherkenning sommige bestaande problemen alleen maar groter zal maken.
Sigal: Inderdaad. We moeten ons niet blindstaren op de technische aspecten van de artificiële intelligentie. We moeten ons vooral afvragen hoe ze in het reële leven gebruikt worden. En in die reële wereld bestaat er nu eenmaal racisme, discriminatie, enz. We moeten ons dus vooral afvragen wie er voordeel haalt uit het gebruik van die technologie en waarom.
We moeten het dan ook allemaal in een wat breder perspectief plaatsen. Het is alsof we al jaren aan een stuk een soort onderbewuste deal hebben gemaakt met IT-multinationals. Het is alsof we onze data en onze privacy met hen verhandelen voor ons comfort. Google en Facebook bieden ons coole diensten aan, maar vragen daar geen geld voor. Wij betalen hen wel met onze persoonsgegevens. Dat is gevaarlijk natuurlijk. Het probleem is echter dat veel mensen dat met een technologische bril bekijken. Het enige wat ze denken is: “Hé, dit is een tof nieuw gadget. Dit zal veel oplossen en het leven efficiënter maken.” Ze gaan ervan uit dat die technologie het leven objectiever en minder bevooroordeeld zal maken omdat ze veronderstellen dat de technologie neutraal is. Er schuilt dus een heel verleidelijke maar foute logica onder. Daardoor beginnen mensen zich pas heel recent tegen dit soort technologie te verzetten.
Sean: Het is inderdaad opvallend dat er geen breder maatschappelijk debat was toen Facebook voorstelde om je vrienden in foto’s te taggen op basis van hun gezicht. Maar als zoveel mensen gewoon op ‘aanvaarden’ klikken en zonder na te denken iedereen gaan taggen, is de verspreiding van die technologie dan niet onvermijdelijk?
Sigal: Een plotse, enorme vloedgolf zorgde er in elk geval voor dat digitale gezichtsherkenning op een enorme schaal werd geïmplementeerd. Maar in de laatste maanden zag je in de VS toch heel wat activisme en een aantal rechtszaken die daar tegenin gaan. Het maatschappelijke debat werd geopend en we zouden dus concrete resultaten van dat activisme kunnen zien. We kunnen dus wel degelijk naar een samenleving groeien die zich daartegen verzet.
Dit is een klein en lichtjes herwerkt onderdeel uit een Vox-podcast. De volledige aflevering van ‘Today Explained’ kan je hier beluisteren.
