Grote techpartijen gebruiken privéinformatie om gerichte advertenties tonen. Omdat ook deze ‘gepersonaliseerde’ advertenties steeds minder effect hebben, kiezen adverteerders voor een nieuwe aanpak: met geavanceerde technologie meten ze onze aandacht en zelfs emoties.
“Ons onderbewustzijn reageert in fracties van seconden op visuele informatie”, vertelt Gabi Zijderveld. “Dat zijn primaire emoties als blijdschap, opwinding of afkeer, maar vooral ook hele genuanceerde en subtiele emotionele reacties. Met onze kunstmatig intelligente software kunnen we die op wetenschappelijk accurate wijze meten”.
Zijderveld is CMO van Smart Eye. Het van oorsprong Zweedse bedrijf profileert zich als internationale voorloper op het gebied van Human Insight AI. Vrij vertaald is dat kunstmatig intelligente software die in staat is menselijk gedrag en emoties te observeren, interpreteren en in sommige gevallen ook te voorspellen. Steeds meer grote techbedrijven storten zich op deze vorm van emotional analytics met behulp van kunstmatig intelligente software.
Zo deponeerde Meta, het voormalige Facebook, in januari van dit jaar een hele serie patenten rond diverse toepassingsmogelijkheden voor deze technologie. De in totaal enkele honderden patentaanvragen bij het US Patent and Trademark Office betreffen onder meer mogelijkheden om biometrische data vast te leggen en te interpreteren. Die technologie wordt verwerkt in de virtual head sets waarmee leden toegang krijgen tot het recent zeer gehypte metaverse. Meta is eigenaar van Oculus, de producent van zeer populaire VR-brillen als de Oculus Quest. Vorige week veranderde de naam van dat bedrijf in Meta Quest.
Levensechte avatars
Het metaverse is een virtuele digitale omgeving die programmeurs geheel naar eigen inzicht kunnen vormgeven. Gebruikers betreden deze wereld via hun head set, en een gekoppelde avatar. Dat is een digitaal vormgegeven representatie van jezelf, zoals een cartoonfiguur of emoji. Om steeds levensechtere avatars te kunnen maken, werken gespecialiseerde apps als Bitmoji al met gezichtsherkenning. Maak een selfie, haal die door de app en binnen enkele seconden heb je een cartoonfiguur die opmerkelijk veel op je lijkt.
Via de avatar interacteer je realtime met de avatars van andere aanwezigen en het (nog grotendeels vorm te geven) metaverse zelf. Een deel van Meta-patenten beschrijft technologie die je avatar helpt zo vloeiend mogelijk te bewegen in de digitale ruimte, en te interacteren met andere avatars. Zo is er bijvoorbeeld sprake van een sensor die je oogbewegingen en gezichtsuitdrukkingen nauwkeurig volgt, en een soort harnas van magnetische sensoren. In combinatie maakt deze technologie het mogelijk om jouw avatar gelijk te laten glimlachen of zwaaien op het moment dat jij dat ook doet.
In een ander patent sorteert Meta ook voor op commerciële toepassingsmogelijkheden. Door de oogbewegingen en gezichtsuitdrukkingen van de gebruiker te analyseren met kunstmatig intelligente software, kan het bedrijf ook monitoren of, en hoe lang, je in het metaverse naar bepaalde advertenties kijkt. Sterker nog: de geplande software moet straks zelfs in staat zijn om jouw emotionele reactie op advertenties of andere content vast te stellen. Meta kan de getoonde advertenties of andere content daarop aanpassen. Zo krijgt het idee van een ‘gepersonaliseerde’ advertentie dus een geheel nieuwe dimensie.
Emotie-analyse
Een van de pioniers op het gebied van deze zogenaamde Emotion AI-technologie is Affectiva. De in Boston gevestigde startup was de spin-off van een onderzoeksproject van het gerenommeerde Massachusetts Institute of Technology (MIT). Het project leverde onder meer kunstmatig intelligente software op die in staat is via een gewone webcam de emotie van menselijke gezichten te ‘lezen’. De van oorsprong Utrechtse Gabi Zijderveld werd in 2014 eindverantwoordelijk bij Affectiva voor productstrategie en marketing. Nadat Affectiva vorig jaar werd overgenomen door Smart Eye, werd zij marketingdirecteur van dit bedrijf
“De technologie baseert zich dus op ‘micro-expressies’ in het menselijk gezicht”, vertelt Zijderveld. “Bij Affectiva gebruikten we die vaak om de reacties van testpersonen op commercials te analyseren. Dat deden we bijvoorbeeld voor klanten als Coca Cola en Nike. Die geven miljarden uit aan het produceren en delen van die video’s, en dan wil je uiteraard tegen elke prijs vermijden dat je commercial irritatie oproept. Te meer omdat verschillende recente onderzoeken aantonen dat commercials die positieve emoties oproepen veel langer blijven hangen, en meer impact hebben op de voorkeur voor dat specifieke merk.”
Marketinggeweld
In een wereld die consumenten bombardeert met marketinggeweld, is dat een cruciaal gegeven. In die wereld neemt het effect van advertenties namelijk steeds verder af, constateert Karen Nelson-Field in haar in 2020 gepubliceerde boek “The Attention Economy and How Media Works”. “Het feit dat consumenten een advertentie zien, betekent nog niet dat ze hun koopgedrag daardoor aanpassen”, stelt de Australische hoogleraar Media Innovatie. “Door de immer toenemende information overload waaraan de gemiddelde consument dagelijks wordt blootgesteld, registreert die een groot deel van deze reclames zelfs niet of nauwelijks meer.”
Dankzij haar veel geciteerde onderzoek op dit gebied is Nelson-Field een veelgevraagd keynote speaker op grote internationale marketing- en mediacongressen. Om haar kennis om te zetten in klinkende munt, startte ze haar eigen onderzoeksbureau. Met de hulp van een aantal meegekomen universitaire onderzoekers ontwikkelde Amplified Intelligence een digitale meetmethode die de aandacht van consumenten voor op tv- en telefoonschermen getoonde informatie nauwkeurig kan meten.
“Daarbij gebruiken we onder meer camera’s die de oogbewegingen van testpersonen nauwkeurig volgen”, vertelt Nelson-Field. “Onze software registreert welke informatie ze op dat moment bekijken. Zo kun je heel precies zien hoe lang ze een advertentie bekijken. Die technologie hebben we nu verwerkt in een app, zodat we relatief eenvoudig het kijkgedrag van duizenden testpersonen kunnen volgen. En des te meer data we verzamelen, des te meer we leren, en des te nauwkeuriger we de emotionele reacties van grote aantallen kijkers kunnen vastleggen.”
Zowel Amplified Intelligence als Smart Eye en het voormalige Affectiva verzamelden zo een enorme hoeveelheid privacygevoelige informatie. Zo bevatte de database van Affectiva bij overname ruim 5 miljard videofragmenten van meer dan 11 miljoen testpersonen uit 90 landen, die gezamenlijk meer dan 60.000 advertenties testten. “Uiteraard is deze data supervertrouwelijk, en niet te herleiden naar specifieke personen”, vertelt Zijderveld. “Maar net als elke krachtige technologie kan van Emotion AI-technologie ook misbruik worden gemaakt. “Affectiva werkte daarom alleen met testpersonen die expliciet toestemming hadden verleend om hun kijkgedrag te monitoren. Het bedrijf werkte ook met een strikte ethische code om misbruik van haar technologie door derden te voorkomen. Dat geldt ook voor de autoproducenten die deze technologie gebruiken om chauffeurs te waarschuwen die in slaap vallen of veel stress ervaren.
Emotiesurveillance
“Ik denk echter dat het naïef is om voorkoming van misbruik van de goede wil van bedrijven af te laten hangen”, stelt zij. “Dat moet dus met wetgeving gebeuren.” Zijderveld is niet de enige autoriteit die daarop aandringt. De vooraanstaande Amerikaanse gedragswetenschapper B.J. Fogg waarschuwt al jaren voor de gevaren van ‘massale emotie surveillance’. Fogg is de oprichter van het Persuasive Technology Lab van Stanford University, dat onder meer onderzoek doet naar de mogelijkheden om het gedrag van mensen via digitale prikkels te beinvloeden. Volgens Fogg werken steeds meer tech bedrijven aan het in kaart brengen van onze persoonlijkheid en emotionele blue print.
Dankzij de data van miljarden leden is het voormalige Facebook hierbij een van de absolute voorlopers. Verschillende incidenten tonen dat het sociale netwerk ook volop experimenteert met commerciële toepassingsmogelijkheden. Al in 2014 lekte informatie uit over geheime tests waarbij het sociale netwerk de gemoedstoestand van honderdduizenden gebruikers probeerde te beinvloeden met subtiele veranderingen in hun News Feed. Uit een nieuw lek in 2017 bleek dat Facebook merken de gelegenheid bood hun advertenties specifiek te richten op onzekere tieners met een laag gevoel voor eigenwaarde. Het omstreden Cambridge Analytica gebruikte Facebook-data Amerikaanse stemmers te selecteren die het met behulp van nepnieuws kon manipuleren om op toen nog presidentskandidaat Donald Trump te stemmen.
Marketing of manipulatie
Fogg beschrijft onder meer hoe Meta de profielen van haar miljarden leden zou kunnen aanvullen met een zogenaamd ‘persuasion profile’. Dit profiel kan worden opgebouwd door hun reacties op getoonde content doorlopend vast te leggen en te analyseren. Op die manier zou het sociale netwerk bijvoorbeeld steeds beter kunnen gaan begrijpen hoe individuele leden op verschillende soorten verkoopargumenten reageren. Zo is de ene consument mogelijk gevoeliger voor een schaarsteargument (‘Koop snel: dit is een van de laatste exemplaren op voorraad’) en laat de andere consument zich vaker beinvloeden door de mening van autoriteiten (‘Arnon Grunberg vond dit een van de beste boeken van het jaar’).
Dankzij de mogelijkheid om internetgebruikers advertenties te tonen die aansluiten op hun persoonlijke interesses incasseren Facebook en Google op dit moment al ruim de helft van alle wereldwijd uitgegeven online marketingbudget. Als dit soort partijen getoonde advertenties ook kunnen aanpassen aan persoonlijke ‘overtuigingprofielen’ wordt de grens tussen marketing en manipulatie wel heel erg dun, constateren critici als Fogg.
Zeker in een geheel digitale, in potentie zeer imponerende omgeving als het metaverse. Een van de andere patenten die Meta vorige maand deponeerde was de mogelijkheid objecten of ervaringen in deze alomvattende digitale ruimte te veilen aan de hoogste bieder. Meta wil niet ingaan op specifieke vragen over de werking van technologie of de reden om de patenten aan te vragen. Het wijst er echter wel op dat de technologie die in deze patenten wordt beschreven ‘niet noodzakelijkerwijs in onze producten of diensten gebruikt zal gaan worden’.
Nieuwe wetgeving noodzakelijk tegen ‘massale emotie surveillance’
Wetgevers moeten snel gaan nadenken over nieuwe regels om te voorkomen dat bedrijven misbruik maken van persoonlijke biometrische data. Dat stelt kopstuk John Verdi van het Future of Privacy Forum, een in Washington gevestigde denktank. “Nu al zie je dat veel consumenten gevoelige biometrische informatie als hun vingerafdruk of gezicht laten scannen voor toegang tot hun mobiele telefoon”, stelt Verdi. “Voor het gebruik van augmented of virtual reality neemt de hoeveelheid vastgelegde biometrische informatie echter enorm toe. Dankzij data van bijvoorbeeld ogen en oogbewegingen kunnen adverteerders gebruikers gaan identificeren en analyseren, met een uitgestrekt privacy mijnenveld als gevolg. Naast interesse en emotie is het zo bijvoorbeeld ook mogelijk zeer intieme gegevens over de gezondheid van de gebruiker te achterhalen. Het is niet moeilijk voor te stellen dat dit soort data gemakkelijk misbruikt of verkocht kan worden.”
Software herkent genuanceerde en contextgevoelige emoties
Kunstmatig intelligente emotie-analyse (Emotion AI) is zeer complex. Dat komt ook doordat getoonde emoties meestal niet primair zijn, maar heel genuanceerd, contextgevoelig en beïnvloed door culturele normen. “Een glimlach betekent niet altijd dat iemand blij is”, illustreert Gabi Zijderveld van marktleider Smart Eye. “Afhankelijk van de context kan die ook bijvoorbeeld frustratie aangeven. Dat soort nuances is ook cultureel bepaald. Denk bijvoorbeeld aan de polite smile in Japan, of het head bobble in India.’
Mede daarom is het volgens Zijderveld niet mogelijk om emoties van een enkel beeld ‘af te lezen’.
“Los van de ontbrekende context ontwikkelen de meeste emoties of gemoedstoestanden zich ook over verloop van tijd”, vertelt ze. “Zo kun je bijvoorbeeld de eerste tekenen van vermoeidheid al herkennen, zodat je na verloop van tijd met steeds meer zekerheid kunt vaststellen dat een persoon echt moe begint te worden. Belangrijk als je bijvoorbeeld wilt waarschuwen voor potentieel gevaarlijk rijgedrag.”
Context betekent ook dat je moet begrijpen waar en wanneer de emotionele reactie plaats vindt. “Als wij de reacties van testpersonen op commercials vastleggen weten we waar mensen naar kijken.
Als het een humoristische advertentie is, en iemand lacht, dan kan je eigenlijk met grote zekerheid zeggen dat ze het leuk vinden. Maar als het een shockerende advertentie is, kan die glimlach ook duiden op ongemak. In beide gevallen kan dat het gewenste effect zijn dat de adverteerder wil bereiken.” Daarnaast wijst Zijderveld ook nog op het bestaan van “data bias” en “algorithmic bias”. “Kunstmatig intelligente software systemen zoals de onze gebruiken camera en video om emoties en gemoedstoestanden te analyseren. Alleen na héél veel training (‘machine learning’) met de juiste data zijn deze systemen in staat nauwkeurig allerlei type mensen te herkennen. Of iemand een bril opheeft, baard heeft, hijab draagt, of een donkere gezichtskleur: de AI mag niet biased zijn en moet iedereen kunnen herkennen. Onze data set bevat miljoenen ‘gezichtsvideo’s’ van testpersonen uit 90 landen. Zonder zo’n grote en diverse data set is bias lastig te vermijden.”
