Elke marktonderzoeker kent de uitspraak wel: ‘Reclame heeft op mij geen invloed. Ik koop gewoon de merken die ik ken.’ Deze grappige paradox ontgaat de consument zelf, vaak volledig. Want waarom kent hij juist díe merken? Waarom voelt het ene merk vertrouwder dan het andere? Waarom trekt de ene verpakking eerder zijn aandacht? En waarom werkt 1+1 gratis soms beter dan 50% korting. En soms ook weer niet. Dit interessante probleem duikt ineens opnieuw op bij een van de grote beloften van AI in marktonderzoek: de digital twin.
De gedachte is verleidelijk: “als we een consument maar goed genoeg leren kennen, kunnen we uiteindelijk een digitale versie van hem maken die zijn gedrag voorspelt. Laten we de consument vervangen door zijn digitale tweeling.” Maar onder deze gedachte zit een fundamentele aanname dat voldoende kennis over wat iemand zegt, denkt en vindt ook voldoende informatie bevat om te voorspellen wat hij straks zal doen.
Leer een consument goed kennen. Verzamel informatie over zijn persoonlijkheid, attitudes, voorkeuren, overtuigingen, prijsgevoeligheid en economische keuzes. Geef al die informatie aan een Large Language Model en creëer daarmee een digitale versie van die persoon. En voilà: in theorie hoeven we de echte consument vervolgens nauwelijks nog iets te vragen.
We kunnen zijn digitale twin een nieuwe verpakking laten beoordelen. Een andere prijs voorleggen. Een advertentie laten zien. Een nieuw product laten kiezen. Geen nieuwe respondenten. Geen weken veldwerk. Honderden concepten kunnen vrijwel onmiddellijk worden getest. Als dat werkelijk werkt, verandert het marktonderzoek fundamenteel. Sterker nog, bij een flink deel van de traditionele onderzoeksbureaus kan het licht uit en de deur dicht. Er blijft alleen één nogal belangrijke vraag over: Werkt het?
De AI op de testbank
Onderzoekers verbonden aan Columbia University besloten precies dat te onderzoeken. En niet met een paar oppervlakkige persona's. Ze beschikten over een uitzonderlijk rijke dataset: Twin-2K-500. Deze dataset bevat gegevens van 2.058 Amerikaanse deelnemers die verspreid over vier meetgolven meer dan 500 vragen en taken doorliepen. Gemiddeld besteedde iedere deelnemer daar ongeveer 2,4 uur aan. De dataset omvat demografische, psychologische, economische, persoonlijkheids- en cognitieve maten, naast gedrags-economische experimenten en een prijsonderzoek. Dat is dus aanzienlijk meer informatie dan de paar kenmerken waarmee een gemiddelde marketingpersona wordt opgebouwd.
Vervolgens kwam de echte test. In 19 nieuwe, vooraf geregistreerde studies werden de oorspronkelijke deelnemers én hun digitale twins geconfronteerd met nieuwe vragen, stimuli en situaties. De studies bevatten samen 164 verschillende uitkomstmaten. In totaal namen 1.784 unieke personen uit de oorspronkelijke dataset opnieuw deel. De vraag was eenvoudig:
"Kan de digitale twin voorspellen hoe zijn menselijke tegenhanger reageert op iets nieuws?"
Het antwoord was ontnuchterend. Gemiddeld bedroeg de correlatie tussen de antwoorden van mensen en hun digitale twins r = 0,20. De twins deden het daarmee iets beter dan het onderliggende, niet-gepersonaliseerde taalmodel, maar de samenhang met het gedrag van de specifieke persoon bleef zwak. Dat betekent niet dat de twins helemaal niets konden voorspellen. Ze konden een deel van de verschillen tussen mensen reproduceren. Maar juist waar het bij een echte digitale tweeling om draait, het voorspellen van de reactie van dit specifieke individu, bleef hun voorspellend vermogen beperkt. De onderzoekers waarschuwen dan ook voor toepassing van dergelijke twins.
De AI herkent je, maar kent je niet.
Er is een verschil tussen weten wat voor soort persoon iemand is en voorspellen wat die specifieke persoon gaat doen. Stel dat een paar honderd mensen aangeven hoeveel ze voor een product willen betalen. Dan is het relatief eenvoudig om een redelijke voorspelling te doen van wat deze groep er gemiddeld voor over heeft.
Maar een echte digital twin moet iets veel moeilijkers kunnen. Hij moet voorspellen dat Martin degene is die €54 wil betalen, terwijl Peter bij €35 afhaakt. En juist uit al die individuele verschillen wil je uiteindelijk bijvoorbeeld afleiden welke prijs commercieel optimaal is. Precies daarmee hebben de twins moeite.
De onderzoekers vonden bovendien dat hun fouten niet simpelweg willekeurig waren. In aanvullende exploratieve analyses vonden ze vijf systematische vertekeningen: onvoldoende individualisering, stereotypering, representatiebias, ideologische bias en hyperrationaliteit. De twins individualiseerden dus onvoldoende. Hun antwoorden varieerden minder dan die van echte mensen. Soms leken ze meer op het type persoon dat iemand vertegenwoordigde dan op het individu zelf. De vijfde afwijking is voor marketing misschien wel de interessantste: De digitale mensen waren te rationeel.
Misschien ligt het probleem niet alleen bij AI.
Je zou hieruit kunnen concluderen dat AI blijkbaar niet goed genoeg is om menselijk gedrag te voorspellen. Maar het ligt meer voor de hand dat de AI verkeerd is gevoed en getraind.
Predictive AI wordt voor een belangrijk deel getraind met informatie die mensen zelf hebben verstrekt of met eerder door hen uitgevoerde expliciete taken. Wat vind je belangrijk? Welke overtuigingen heb je? Hoe zou je jezelf omschrijven? Welke keuze maak je in deze situatie? Hoe reageer je op een economische taak?
Dat levert een uitzonderlijk rijk profiel op. Maar we weten dat gedrag niet uitsluitend voortkomt uit informatie waartoe we bewust toegang hebben en die we onder woorden kunnen brengen. Aandacht, affectieve waardering, verwachtingen, automatische associaties, geheugen, beloning, eerdere ervaringen en de context waarin een keuze wordt gemaakt, kunnen allemaal bijdragen aan de uiteindelijke beslissing. En over dat deel van die processen kunnen mensen per definitie maar beperkt accuraat rapporteren.
Daarmee komen we bij een fundamenteel probleem. Een AI-model kan patronen ontdekken die wij zelf nooit zouden zien. Het kan honderden variabelen combineren, complexe interacties herkennen en overeenkomsten tussen mensen ontdekken. Maar hoe goed ook; voorspellen kan alleen wanneer zijn input voldoende informatie bevat over het gedrag dat we proberen te voorspellen.
De digital twin van onze rationalisatie.
In populaire psychologische termen zou je kunnen zeggen dat veel informatie waarmee zulke twins worden opgebouwd relatief Systeem 2-achtig is: expliciet, verbaal en toegankelijk voor bewuste rapportage. Werkelijk consumentengedrag wordt daarnaast beïnvloed door processen die we traditioneel eerder met Systeem 1 associëren: snel, automatisch, associatief en affectief, en niet altijd toegankelijk voor introspectie. En dat maakt een belangrijk probleem zichtbaar.
Als iemand zelf niet volledig weet waarom hij iets koopt, hoeveel helpt het dan om hem 500 vragen te stellen?
Dat zou ook kunnen verklaren waarom de onderzoekers hyperrationaliteit bij de twins vonden. Een taalmodel is uitzonderlijk goed in het produceren van plausibele en consistente redeneringen. Ongetwijfeld zelfs consistenter dan de consument zelf. Alleen gedragen consumenten zich helemaal niet altijd zo consistent. We willen gezond eten en bestellen friet als bijgerecht, want we hebben immers al veel groenten. We zeggen dat prijs niet belangrijk is en wachten toch op de 1+1 gratis. We zeggen dat we impulsaankopen vermijden en komen thuis met iets waarvoor we helemaal niet naar de winkel gingen. Die inconsistenties zijn onderdeel van consumentengedrag. En een model dat ze gladstrijkt, creëert misschien een rationelere versie van onszelf, maar daarmee nog niet noodzakelijk een betere voorspeller van ons gedrag.
Betekent dit dat synthetic research niet werkt?
Zeker niet. Synthetic consumers kunnen zeer waardevol zijn voor exploratie, hypothese-vorming, het snel vergelijken van ideeën en toepassingen waarbij patronen op groepsniveau voldoende zijn. En AI kan vanzelfsprekend gedrag voorspellen wanneer het beschikt over data die daadwerkelijk voorspellende informatie over dat gedrag bevatten. Denk bijvoorbeeld aan historische aankopen, klikgedrag, zoekgedrag, transacties en andere gedragsdata. Maar dat is iets anders dan aannemen dat een taalmodel dat overtuigend als een consument kan praten, die consument ook kan vervangen. En daar ligt wat mij betreft de werkelijk interessante volgende stap.
Wat gebeurt er wanneer we een digital twin niet alleen voeden met wat mensen zeggen, maar ook met informatie over processen die voorafgaan aan hun uiteindelijke gedrag?Kunnen we een AI-model trainen op een combinatie van wat mensen zeggen, wat ze doen en wat we kunnen meten van de impliciete en neurobiologische processen die aan hun keuzes voorafgaan?
Als we die modellen vervolgens, samen met de echte mensen waarop ze gebaseerd zijn, confronteren met iets wat geen van beiden eerder heeft gezien: een volledig nieuw product, een nieuw merk, een nieuwe advertentie of een nieuwe prijs, dan testen we of AI ons toekomstige gedrag kan voorspellen.
Als een van jullie lezers zich geroepen voelt om een dergelijke AI te trainen met impliciete en neurobiologische processen, dan hebben wij nog zo'n 85.000 hersenscans op 'behavioral change'. Maar voorlopig zijn we terug bij waar we begonnen; AI als een buitengewoon geavanceerd model dat heel goed voorspelt hoe een consument zijn keuze zal verklaren. Leuk, maar ongeschikt om de 5 tot 25% die marketing bijdraagt aan de commerciële resultaten, op te krikken tot een aanvaardbaar niveau.