De illusie van controle

Vorige maand werd Florian Cramer door Jessica Saxby en Guillermo Collado Wilkin van “Technophany, A Journal for Philosophy and Technology” geïnterviewd over technologie en politie-handhaving, De tekst is mogelijk iets filosofischer dan op onze website gebruikelijk, maar desalniettemin ook voor activisten zeer leerzaam. Hier een Nederlandse vertaling en lichte bewerking door Cramer zelf.

Gezien de focus van deze serie artikelen in Technophany’s commentaren op techno-politiehandhaving en bewaking in Frankrijk, willen we je om te beginnen vragen naar de volgende bewering die je doet in je essay Crapularity Hermeneutics (2016): “Ongeacht of A.I., of sommige soorten A.I., fundamenteel gebrekkig zijn en ongeschikt voor hun doel, zullen ze desalniettemin worden ontwikkeld en gebruikt als ze dingen gedaan lijken te krijgen en als ze, wat het belangrijkst is, kwantificeerbare resultaten opleveren.” Voortbordurend op een aantal psychoanalytische ondertonen van de tekst, wilden we ons afvragen hoe AI-systemen een “illusie van controle” creëren en hoe die illusie onze werkelijkheid structureert.

Florian Cramer: Over psychoanalyse en psychologie gesproken, een goed praktijkvoorbeeld is emotiedetectie in AI-machinevisiesystemen, die al vele jaren op grote schaal wordt gebruikt, onder andere in camerabewakingssystemen op luchthavens, waarschijnlijk ook bij de Olympische Spelen in Parijs. Ruben van de Ven onderzocht de interne werking van deze systemen al in 2016 in zijn masterscriptie aan het Piet Zwart Institute in Rotterdam (zie “Emotion Hero“, en zijn paper uit 2017 “Choose How You Feel; You Have Seven Options“,). Hij ontdekte dat machine-emotieherkenningssystemen gebaseerd zijn op het model van zeven, zogenaamd universele en evolutionair gegroeide, menselijke emoties (“woede, minachting, walging, angst, geluk, verdriet en verrassing”), ontwikkeld door de Amerikaanse psycholoog Paul Ekman. Hoewel dit model op zichzelf niet onomstreden is, wordt het verder vereenvoudigd en geoperationaliseerd in het machine vision-systeem, alsof deze emoties objectief en eenduidig gedetecteerd kunnen worden en alsof de analyse ervan objectief computerdetecteerbare bedreigingsscenario’s zou opleveren, zoals een persoon op een vliegveld wiens gezichtsuitdrukking door machine vision als angstig en boos wordt beschouwd, is een mogelijke terrorist.

De belofte van zo’n systeem is dat deze analyse en interpretatie gewoon een kwestie is van technische machineherkenning, zoals het scannen en herkennen van een QR-code; dat semantiek (betekenis, inhoud) neerkomt op syntax (vorm). Het betekent ook dat geestes- en sociaal-wetenschappelijke theorieën worden geëxtraheerd en geherinterpreteerd als machine-operationele modellen, met als collaterale schade dat ze worden omgezet in pseudowetenschap. Een ander voorbeeld is de vertaling van René Girards literair-culturele theorie van mimetisch verlangen (volgens welke mensen verlangen naar wat andere mensen verlangen) naar algoritmen en bedrijfsmodellen voor sociale media en e-commerce door zijn voormalige Stanford-studenten die nu bedrijven in Silicon Valley leiden. Of het veelvuldig profileren van werkers in personeelsmanagement door middel van de “Big Fifty”-persoonlijkheidstest, waarvan het model gebaseerd is op Jungiaanse psychologie (de controversiële psychologie van C. G. Jung, die beweert dat er ‘archetypische’ patronen bestaan in het onderbewustzijn van alle mensen) en dus een speculatief, controversieel model operationaliseert in pseudo-objectieve personeelsbeoordelingen. Dit voorbeeld laat ook zien dat dergelijke operaties of “analytics” geen computers nodig hebben en ook niet noodzakelijkerwijs een product zijn van computertechnologie, maar bestaan in een speculatief domein tussen pseudowetenschap, management en technologie in de breedste zin van het woord. (Een ander voorbeeld is de “Oxford Capacity Analysis”-test en “technologie” van de Scientology Kerk, al dan niet gebruikt in combinatie met het elektronische apparaat “e-meter” van de kerk).

Je zou verwachten dat de geesteswetenschappen en sociale wetenschappen verontwaardigd zouden zijn over de oversimplificatie en operationalisering van analyse tot “analytics”, maar – uit angst om iets te missen – lijken ze het over te nemen in hun overheersende begrip van “digital humanities” als computergebaseerde kwantitatieve analyse (van teksten en andere culturele artefacten).

In gevallen zoals emotiedetectiesystemen is het uiteindelijk irrelevant voor de bruikbaarheid van deze systemen of hun onderliggende vertaling van psychologische modellen en theorieën naar software wetenschappelijk gebrekkig is. Het doet er niet toe zolang het systeem operationeel is en – hoewel het in de meeste gevallen als een (intransparante) black box werkt – kwantificeerbare resultaten oplevert, zoals: gerichter mensen fouilleren op vliegvelden met verbeterde efficiëntiestatistieken. Het maakt zelfs niet uit hoe vertekend deze resultaten en hun onderliggende methodologie kunnen zijn op een kwalitatief of interpretatief niveau, inclusief de datasets die gebruikt zijn om de AI te trainen. Alleen al het bestaan van het systeem zorgt ervoor dat onvoorziene omstandigheden beter beheersbaar lijken en het creëert zo een handige illusie van controle. (Je zou zelfs kunnen stellen dat het hele concept van management gebaseerd is op zulke illusies van controle, ongeacht de gebruikte – digitale of niet-digitale – technologie en technieken).

Je noemt misdaadstatistieken als één manier waarop deze technologieën efficiënt lijken. Frankrijk heeft duizenden bewakingscamera’s geïnstalleerd voor de Olympische Spelen als onderdeel van zijn “plan voor nul criminaliteit”. De minister van Binnenlandse Zaken verklaarde dat de meest flagrante delinquenten de zichtbare zijn: drugsdealers, straatverkopers en kleine dieven. Op welke manieren houdt kwantificering deze illusie van controle en veiligheid in stand?

Misschien is de vraag eerder in hoeverre beheerde zichtbaarheid, of liever onzichtbaarheid, een illusie van controle en veiligheid creëert en in hoeverre een indeling in telbare eenheden een neveneffect is van deze beheerde onzichtbaarheid. Een “opgeschoonde” openbare ruimte betekent bijvoorbeeld minder incidenten die door bewakingssystemen worden geregistreerd en dus lagere misdaadstatistieken. Een waarschijnlijk scenario, waarvan het me niet zou verbazen als het vandaag de dag al realiteit is, is dat regimes van onzichtbaarheid (van misdaad, ongewenste mensen in de buitenruimte etc. – ik leun met dit begrip op de esthetische filosofie van Jacques Rancière) alleen worden gecreëerd om de algoritmes van bewakingssystemen en hun outputstatistieken te “gamen”, vergelijkbaar met de “content farms” op het web die worden gecreëerd om de ranking-algoritmes van zoekmachines te gamen. Met andere woorden, “analytics” is niet langer een middel om een doel te bereiken, maar wordt het doel op zich.

Dit betekent dat het eigenlijke doel van deze (ogenschijnlijke) opschoning geleidelijk verschuift van de openbare ruimte zelf naar wat sensorgegevens registreren (zoals beelden van bewakingscamera’s), naar het “analytics”-algoritme en uiteindelijk naar de outputstatistieken. Met andere woorden: uiteindelijk gaat het niet om het beheersen van de ruimte, maar om mooie statistieken. In mijn essay (geschreven in het voorjaar van 2016, kort voor de eerste verkiezing van Donald Trump en onder de indruk van de “Alt-Right” campagne voor hem), stelde ik al voor om politiek populisme te lezen als een lichamelijke tegenreactie op een dergelijke big data post-politiek.

Om bij het thema zichtbaarheid te blijven: gezien de enorme hoeveelheid videocamera’s die voor de Olympische Spelen zijn geïnstalleerd, zullen hun beelden algoritmisch moeten worden gezeefd. We willen je wat vragen over proliferatie en automatisering, en de nieuwe zichtbaarheidsregimes die daardoor ontstaan. Er is veel literatuur over datadiscriminatie, over analytics die vooroordelen in stand houdt, over techno-policing en systemisch racisme. Ze leiden tot situaties waarin, zoals Jackie Wang het zegt “geografie een proxy is voor ras” of waarin mensen geacht worden “schuldig te zijn door associatie” vanwege de buurten waarin ze wonen, werken of tijd doorbrengen. Hoe kruisen deze nieuwe zichtbaarheidsregimes met pre-digitale racistische vooroordelen, waarvan je er een aantal beschrijft in je artikel?

Het eenvoudigste antwoord ligt in de structuur van AI machine learning, dat technisch gezien een herhaling van het verleden is. Het werkt op basis van een post-histoire epistemologie (het filosofische idee dat we de geschiedenis achter ons hebben gelaten en dat er niets meer zal veranderen), volgens welke het heden en de toekomst kunnen worden afgeleid en voorspeld op basis van gegevens uit het verleden. Dit doet een machine learning systeem omdat het alléén maar data uit het verleden gebruikt om in het heden te werken en ook voorspellingen over de toekomst te maken (bijvoorbeeld in “predictive policing,” de voorspelling van toekomstige “crime sites” door AI).  Dit betekent op zijn beurt dat het heden en de toekomst, tenminste voor zover ze bestaan als werkelijkheid binnen het computationele systeem, niet kunnen bestaan buiten de grenzen van die retrospectieve systeemwerkelijkheid. Dit lijkt mij het feitelijke einde van de definitie van informatie als “een verschil dat een verschil maakt” door de cyberneticus Gregory Bateson in 1969, afgezien van stochastische remixen van die gegevens uit het verleden, die hier en daar een glitch of verrassende combinatie produceren, altijd binnen de grenzen van wat eerder in het systeem werd ingevoerd en met elkaar kan worden gecombineerd. Elders heb ik dit de “caleidoscoopbeperking” van generatieve systemen genoemd.(1) Voor mijn eigen werk en onderzoeksveld in de kunsten in relatie tot generatieve AI – en oudere combinatorische en generatieve systemen – betekenen deze structurele beperkingen van machinaal leren uiteindelijk het einde van filosoof Max Bense’s gelijkstelling van “esthetische innovatie” met stochastisch-informatorische onwaarschijnlijkheid (in de jaren 1950-70, dus de theorie dat in de kunsten innovatief is wat maximaal onwaarschijnlijk en onvoorspelbaar is), behalve wanneer dergelijke systemen alleen worden gebruikt als hulpmiddelen in een praktijk of proces.

Een centraal deel van je tekst behandelt automatisering ook op een andere manier. Automatisering houdt het delegeren van beslissingen in, wat per definitie de beoordeling/analyse van verschillende opties inhoudt. Analyses en automatisering kunnen interpretatie en hermeneutiek dus niet wegnemen, maar ze gewoon uitstellen. Dit uitstel komt neer op een onderdrukking van het politieke, van de mogelijkheid om te kiezen. Wat zijn de gevolgen van het onderdrukken van interpretatie, en uiteindelijk politieke subjectiviteit, in technische systemen? Wat zijn de symptomen, de terugkeer van deze fundamentele onderdrukking?

Ik zou stellen dat het niet zozeer een onderdrukking is van het politieke op zich, maar eerder van de zichtbaarheid ervan. Politiek wordt nog steeds bedreven en politieke beslissingen worden nog steeds genomen in deze processen en systemen die zowel machinale als menselijke actoren omvatten, net als in dystopische sciencefiction zoals “Robocop” (waarvan ik denk dat de originele versie van Paul Verhoeven een briljante politieke reflectie op dit onderwerp is). Daarom vergeleek ik in mijn essay big data politiek met Colin Crouchs theorie van “post-politiek” en de “er is geen alternatief” regimes van Thatcher en Merkel.

Wat ik in het oorspronkelijke essay slechts zijdelings heb aangestipt, is de mate waarin het anti-humanistische denken in de geesteswetenschappen, met name in de mediatheorie en in delen van de (post-modernistische) Duitse geesteswetenschappen, onbewust medeplichtig is geweest aan dergelijke ontkenningen van agency, door interpretatie en hermeneutiek, en uiteindelijk subjectiviteit en menselijke zeggenschap, met het badwater van filosofisch idealisme weg te gooien, deels gedreven door wat ik zie als een vereenvoudigde, existentialistische lezing van Foucault’s discourstheorie. (In sommige culturele en mediatheorieën van de jaren 1980 en ’90 werd, in navolging van Foucaults analyse van institutionele machtsverhoudingen die het leven van mensen bepalen, vaak gesproken over het “einde van de subjectiviteit” en zelfs het “einde van de mens,” en werd daarom ook het concept van interpretatie als subjectivistisch afgekeurd.) 

Maar of je nu gelooft in hun bestaan of niet, interpretatie en politiek handelen zijn onafscheidelijk en komen overeen met het wederkerige paar van hermeneutiek (de klassieke discipline van het duiden van teksten) en poëtica (de klassieke discipline van het schrijven van teksten). Interessant genoeg lijkt deze wederkerigheid voor het eerst begrepen te zijn in de vroege scholen van computer-experimentele dichtkunst, zoals de Stuttgartse School van literatuurwetenschappers en dichters rond Max Bense in de jaren 1960, wiens “informatie-esthetiek” (interpretatie van teksten en kunstwerken door wiskundige middelen) en “kunstmatige poëzie” (schrijven van teksten door middel van computerprogrammering) twee kanten van dezelfde medaille waren. (Mijn excuses voor mijn herhaalde verwijzingen naar Bense, die te wijten zijn aan het feit dat ik net terug ben van een academische conferentie over zijn werk). Dit is nu terug te zien in de mainstream AI-technologie, voor het eerst in 2015 met Google Lab’s omkering van machine-leren AI beeldherkenning in zijn “Deep Dream” AI neuraal netwerk voor het genereren van beelden, wat het begin markeert van de generatieve AI van vandaag. Met andere woorden, voor computerprogramma’s is het genereren van teksten en beelden een eenvoudige omkering van het proces van het analyseren van teksten en beelden. 

Ik denk niet dat het onderdrukken van zichtbaarheid als politieke tactiek historisch nieuw is. Het is het principe van ondemocratisch bestuur. (Denk aan de onderdrukking van oppositie en van minderheden door ze onzichtbaar te maken.) Computersystemen hebben het alleen mogelijk gemaakt om (a) dergelijke onderdrukking op te schalen door middel van automatisering en (b) individuele verantwoordelijkheid ervoor van zich af te schuiven door systemen – of “het systeem” – de schuld te geven als zondebok. 

Een concreet voorbeeld is het toeslagenschandaal in Nederland, waar gebrekkige big data-analyses werden gebruikt om 26.000 ouders valselijk te beschuldigen van fraude, wat er onder andere toe leidde dat duizend kinderen bij hun familie werden weggehaald en onder toezicht van de staat werden geplaatst. In zulke gevallen functioneert het data-analysesysteem op de manier van een grammaticale ombuiging van persoonlijke verantwoordelijkheid en aansprakelijkheid door het gebruik van de passieve stem. Met andere woorden, het slecht functioneren van “het systeem” is het equivalent van zeggen “er zijn fouten gemaakt”. Het hermeneutisch-interpretatieve en politieke antwoord zou zijn om te vragen: “Wie heeft de fout gemaakt en waarom?”.

Kan de Crapularity (oorspronkelijk een grap naar aanleiding van de “singularity”, het idee dat AI systemen straks intelligenter worden dan mensen, Cramer), die je in navolging van Justin Pickard definieert als een convergentie van technologieën, “die over elkaar heen worden gelegd en zonder onderhoud blijven draaien, vaak zelfs zonder dat er nog iemand in de buurt is die weet hoe ze werken” zelf worden beschouwd als een symptoom van de onderdrukking van subjectiviteit in de analytica; het punt waarop de illusies van objectiviteit en controle breken? Wat zijn de politieke gevolgen van deze doorbroken illusie? In je tekst heb je het over twee concurrerende vormen van fascisme: Big-Data fascisme aan de ene kant, en een terugkeer naar “decisionistisch” fascisme, juist als reactie op de onderdrukking van beslissing, van subjectiviteit, in big data.

Crapulariteiten, met andere woorden: disfunctionele systemen, kunnen vaak het resultaat zijn van een onderdrukking van kritische vragen (in de eenvoudige zin van het kind dat vraagt waarom de keizer naakt is) en een falen om de gevolgen op lange termijn te voorzien van een systeemontwerp op korte termijn. Maar ik pleit niet voor perfectie in systeemontwerp. Naar mijn mening en observatie sluipt crapulariteit in elk systeemontwerp (inclusief bijvoorbeeld curriculumontwerp, om een voorbeeld te nemen uit mijn eigen directe werkomgeving) wanneer de aangenomen realiteit, de ontologie, van het ontworpen systeem begint af te wijken van de realiteit, de ontologie, van het sociale systeem waarop het is toegepast, wat ertoe leidt dat het ontworpen systeem wordt aangepast, gepatcht en gehackt, of: geherinterpreteerd om te passen bij de sociale dynamiek op de werkvloer die het geacht wordt te regelen. (Denk bijvoorbeeld aan een boekhoudingssoftware die eigenlijk helemaal niet meer werkt voor een bedrijf of organisatie, maar die je door middel van creatieve trucjes nog steeds gebruikt.)  Dit gaat meestal door tot het punt waarop het ontworpen systeem volledig disfunctioneel wordt of is herbestemd tot iets anders. In die zin is de crapulariteit slechts een symptoom van, en een systeemtoestand die overeenkomt met, de rommeligheid van het gewone leven.

Er is een zekere verwantschap van de crapulariteit met de Filipijnse alledaagse praktijk van “diskarte” afvaleconomie, ecologie en cultuur die mijn collega Clara Balaguer analyseerde als “mensen die allerlei restjes en fragmenten bewaren en gebruiken” die kunnen eindigen als geïmproviseerde, ruw ogende maar zeer praktische “site-specifieke ontwerpoplossingen”.(2) De crapulariteit is het bijbehorende tegendeel, een systeem dat op de markt wordt gebracht als een schoon ontwerp terwijl het in werkelijkheid rommelig en disfunctioneel is. De crapulariteit is de rommel in een datacenter of in een AI-model die liever wordt verborgen dan openlijk en creatief gebruikt als diskarte. Haar belangrijkste functies zijn (a) pseudo-objectieve decisionisme (beslissingen puur omwille van beslissingen, oorspronkelijk een concept van de fascistische denker Carl Schmitt) en (b) collaterale schade. Het is een perfect instrument om militaire en genocidale acties te maskeren in een technocratische post-politiek, omdat je beslissingen en verantwoordelijkheid verbergt onder het mom van “het systeem”.

De discursieve kracht van het hedendaagse fascisme is dat het oppervlakkig lijkt overcomplexiteit en onberekenbaarheid te verhelpen via zijn decisionisme, terwijl het zelf inherent tegenstrijdig, irrationeel en zeer rommelig is – vaak letterlijk, zoals het interieur van de auto van Boris Johnson, of de uiterlijke verschijning van Javier Milei. Het belooft populistische diskarte in plaats van crapulaire technocratie. Juist door zijn subjectivisme, dat rommeligheid en chaos inhoudt, lijkt het een meer geaarde en eerlijke vorm van decisionisme en fascisme dan het geabstraheerde decisionisme en fascisme van big data-systemen. Het is een politiek die zelfs openlijk en ogenschijnlijk crapulair kan zijn zonder dat de crapulariteit overkomt als een mislukking.

Dit verklaart ook wat er fundamenteel is veranderd sinds ik mijn essay schreef in 2016: Big data-fascisme en populistisch-decisionistisch fascisme zijn nu volledig naar elkaar toegegroeid, zoals we onder andere zien in de rol van Elon Musk in de tweede Trump-regering en Peter Thiel als belangrijke geldschieter van vice-president JD Vance. In 2016 bestond deze convergentie alleen als utopie in kringen van (extreem-rechtse) neo-reactionaire accelerationisten die zich bezighielden met “‘dark enlightenment’”.

In het hedendaagse – of preciezer: post-moderne libertarische – fascisme wordt de crapulariteit fysiek uitgedragen, zoals in de oranjeharige nihilistische chaosclown-optredens van Trump, Wilders en Johnson (die zelf modeherhalingen zijn van Johnny Rotten’s punkkapsel uit 1977, waarbij Wilders een punkrockfan is en Rotten/Lydon een hedendaagse Trump-aanhanger). Dit fascisme is post-modern omdat het geen groot verhaal biedt behalve vervallen (de Franse filosoof François Lyotard definieerde post-modernisme in 1979 als het “einde van de grote verhalen”, zoals bijvoorbeeld christendom en marxisme), fragmentarische evocaties van nostalgie (zoals “MAGA – Make America Great Again”) die in de eerste plaats als memes functioneren. Het is carnaval in de zin van de twintigste eeuwse Russische literatuurtheoreticus Mikhail Bakhtin (die carnaval opvatte als een subversieve volkscultuur die zich richtte tegen autoriteiten en de gevestigde orde) terwijl het het carnevaleske gebruikt als wapen, met zijn libertarische politiek en esthetiek van grensoverschrijding als schoolvoorbeeld van wat Lyotard in de vroege jaren zeventig had geanalyseerd als “libidinale economie” (een door de studentenbeweging van 1968 geïnspireerde beschrijving hoe menselijke verlangens en emoties – het libido – economische, sociale en politieke systemen aandrijven voorbij rationele structuren).

Het post-moderne fascisme, dat openlijk de crapulariteit omarmt, heeft zichzelf schijnbaar onkwetsbaar gemaakt. Net als de egel en de haas lijkt het zijn tegenstanders altijd voor te zijn. Daarom falen zowel het burgerlijk-verlichte en neo-liberaal-technocratische liberalisme als het klassieke marxisme in hun pogingen om het post-moderne fascisme te ontkrachten door te wijzen op de interne tegenstrijdigheden

Jessica Saxby en Guillermo Collado Wilkin in gesprek met Florian Cramer

Deze tekst verscheen op 10 februari 2025 op “Technophany, A Journal for Philosophy and Technology”. Vertaald en bewerkt door Florian Cramer.

Noten:

1. Florian Cramer, *The Kaleidoscope Constraint: The automation of arts, seen from its dead ends*, conference paper, 2020, Herziene versie in het Duits in een komend boek over generatieve AI-poëtica onder redactie van Ann Cotten en Hannes Bajohr, Berlijn: Matthes & Seitz, 2025.
2. In het binnenkort te verschijnen essay “Against the [cozy] prettyprinters: a defense of crappy print” door Florian Cramer, Marc van Elburg en Clara Balaguer, in: Annette Gilbert en Andreas Bülhoff (eds.), *Library of Artistic Print-on-Demand. Post-Digital Publishing in Times of Platform Capitalism*, Leipzig: Spector Books, 2025.