China's moderne Jodenster: Huawei gebruikt gezichtsherkenningsoftware voor 'Oeigoer-alarm'

Hier kun je lezen hoe de Chinese overheid, met hulp van Huawei, de moderne Jodenster heeft ontwikkeld. Zo doen ze dat tegenwoordig:

https://twitter.com/zackwhittaker/status/1336339604094390276

Gezichtsherkenningssoftware werkt op basis van algoritmen en iedereen die het gebruikt, kan zomaar hebben bijgedragen aan het perfectioneren ervan. Hartstikke leuk natuurlijk, al die meiden die de hele dag hondenfilters toepassen en zichzelf filmen met grote Disney-ogen, maar de lol is er nu waarschijnlijk wel snel af. De technologie wordt namelijk gewoon misbruikt en de Oeigoeren worden er de dupe van.

In Nederland wordt dergelijke technologie ook steeds meer gebruikt en lijken we ons ook totaal niet bewust van de risico's die hiermee gepaard gaan. Ik hoor en zie de term 'Smart City' ook al steeds vaker voorbij komen. Dan presenteert men dat bijvoorbeeld leuk met een groot scherm waarop te zien valt hoe een camera registreert dat twee mensen te dicht op elkaar staan en zich dus niet aan de anderhalve meter afstand houden. Potverdorie wat een leuke toepassing! Maar niemand staat er kennelijk bij stil hoe dit soort technologie zich ontwikkelt (data-mining) en waar het óók voor gebruikt kan worden.

Het meest vooraanstaande voorbeeld van hoe zo'n algoritme werd misbruikt is de toeslagenaffaire. Dat ding pikte vermeende fraudeurs eruit, mede vanwege het stukje data genaamd 'etniciteit'. Omdat ambtenaren informatie over fraudeurs uit het verleden hadden ingevoerd, is dat algoritme uiteindelijk zelf de puntjes gaan verbinden. Alleen stelde het algoritme nog dat het om 'mogelijke fraudeurs' kon gaan en vulden de ambtenaren zelf in dat het algoritme het vast goed moest hebben gehad, waardoor ze het woordje 'mogelijke' voor het gemak alvast weg lieten.

Kun je je voorstellen wat er allemaal kan gebeuren als algoritmes met 'adviezen' gaan komen over mensen met een Marokkaans uiterlijk? Of Volkswagenbestuurders uit wijken met een laag gemiddeld inkomen? Of als je door zulke herkenningssoftware met een sigaret wordt gespot en je een andere zorgverzekering wilt afsluiten?

Ik geloof niet dat ambtenaren of bedrijfswerknemers die informatie in álle gevallen correct zullen interpreteren. Dat gaat nu al mis namelijk. China loopt wat dat betreft gewoon voorop en heeft wat meer maling aan de ethische bezwaren.