De belofte van affective computing

Ons lichaam verraadt hoe we ons voelen. Onze stem hapert, het zweet breekt ons uit, we hebben haast of kijken weg zodra we de waarheid veinzen. Nieuwe algoritmes kunnen deze emoties steeds beter ‘lezen’. Daarmee is affective computing voor webshops relevant. Het wachten is op een echte doorbraak. Onderzoeker Dirk Heylen: ‘De killer-app hebben we nog niet gevonden.’

Als emoties ergens bepalend zijn, is het wel in de goudhandel. Het is dan ook niet zo gek dat ceo Luc van Hecke van AmsterdamGold de nieuwste ontwikkelingen rond affective computing op de voet volgt. Hoe meer inzicht hij krijgt in de emoties van zijn klanten, hoe beter hij ze kan helpen. Van Hecke: ‘Ik heb agressieve, defensieve, impulsieve, boze, zenuwachtige en angstige beleggers. Waar ze bang voor zijn? Dat kan van alles zijn. Stroomuitval, Trump, hun pensioen, een economische recessie of de derde wereldoorlog. Hun emoties in kaart brengen doen we nu nog met gewone vragenlijsten.’

Ook voor de webshop AmsterdamGold zijn de ontwikkelingen belangrijk. Van Hecke noemt de chatrobot, die qua spraakherkenning nog wel een stap vooruit kan zetten. AmsterdamGold gebruikt de robot sinds een tijdje om klantvragen geautomatiseerd te laten beantwoorden. Het systeem functioneert redelijk, maar ook niet meer dan dat. Van Hecke: ‘De antwoorden vallen in de gesprekken vaak niet helemaal lekker. Siri is met geautomatiseerde communicatie eigenlijk de enige die nu in de buurt komt van wat ik nodig heb. Maar ook bij Siri mis ik een stukje herkenning van emoties. En dat is precies waar we behoefte aan hebben.’

Toch is er goed nieuws. Door de ontwikkelingen rond machine learning en kunstmatige intelligentie zijn computers steeds beter in staat relevante informatie te halen uit gezichtsexpressie, taalgebruik, type gedrag, hartslagvariabiliteit, spreekritme, intonatie en toonhoogte van de stem. Vooral spraakherkenning ontwikkelt zich snel. Volgens Universiteit Twente werd vijf jaar geleden één op de twee woorden (50 procent) door de computer herkend. Nu is dat 95 procent. Betere tools zijn een kwestie van tijd. Wat kan en moet e-commerce ermee?

Siri en Alexa

Affective computing is een onderdeel van kunstmatige intelligentie en maakt vooral gebruik van machine learning algoritmes. Het vakgebied (ontstaan rond 2000) bestudeert en ontwikkelt computersystemen en devices die menselijke gevoelens en emoties herkennen, interpreteren en simuleren. De ontwikkelingen staan niet stil. Volgens een in maart gepubliceerd onderzoek van het Amerikaanse marktonderzoeksbureau RnR Markets zal de industrie rondom affective computing in waarde toenemen van 12,2 miljard dollar in 2016 naar bijna 54 miljard dollar in 2021. Deskundigen voorspellen een ‘emotie-economie’. Emoties gaan bedrijven waardevolle data opleveren.

De vakgroep Human Media Interaction van Universiteit Twente is actief op dit gebied. Hoogleraar Dirk Heylen laat weten dat de vakgroep vooral kijkt naar spraak en taal, oogbewegingen, gebaren en gezichtsuitdrukkingen. Heylen: ‘We bestuderen waar mensen naar kijken en hoe ze hun hoofd bewegen. We kijken ook naar sociale interactie. Wat spraak en taal betreft onderzoeken we niet zozeer wat er wordt gezegd, maar hoe iets wordt gezegd.’

Computers beginnen volgens Heylen steeds beter te zien of mensen stress hebben, of angstig zijn. Dat klinkt veelbelovend. Toch toont een experiment van spraakonderzoekster Khiet Truong van de vakgroep aan dat robots eigenlijk ook nog best wel onnozel zijn. Truong gaf op 30 maart een presentatie in Amsterdam. Zij zei tegen een aandachtig luisterend publiek: ‘Wat computers nu redelijk goed kunnen is het herkennen van de zes universele basisemoties: boosheid, blijdschap, angst, afschuw, verbazing en verdriet. We willen meer toe naar het herkennen van spontane, wat subtielere emoties. En dat lukt nog niet zo.’

Truong’s duiding van de ontwikkelingen blijkt genadeloos te kloppen. Om aan te tonen hoe ver we zijn, heeft ze het robotje Nao meegenomen op het podium. Truong vertelt het publiek dat ze een beetje nerveus is, wil weten of Nao dat oppikt en begint een gesprek. Nao reageert en vraagt wat ze aan het doen is. Truong vertelt over haar presentatie in Amsterdam. Nao vraagt of ze nerveus is en Truong beweert van niet. En jawel … Nao trapt erin: ‘It sounds like fantastic.’ De robot ziet een succesverhaal terwijl de mensen in de zaal zien dat Truong geen geboren spreekster is en zich al slikkend en naar woorden zoekend door de presentatie heen worstelt: ‘Zoals u ziet heeft Nao begrepen wat ik zei, maar niet dat ik best wel nerveus klonk. Hoe iets gezegd wordt, dat is iets wat Siri en Alexa nu nog niet kunnen interpreteren.’

Wearables

Juist met subtielere emoties hebben retailers in hun dagelijkse praktijk te maken. Boze of verdrietige klanten zijn in de winkel (en waarschijnlijk ook in de webshop) in de minderheid. Retailers worden veel vaker geconfronteerd met desinteresse, verveling, cynisme, twijfel of ongeduld. Om ook zulke emoties te herkennen, moeten computers volgens Truong vooral veel data verzamelen. Het zal een kwestie van tijd zijn voordat ze de truc beheersen. Truong: ‘Een computer heeft veel voorbeeldmateriaal nodig om die emoties te leren kennen. Ook het spraaksignaal moet schoon zijn, zonder achtergrondgeluid, en zonder mensen die door elkaar heen praten.’

Terug naar Dirk Heylen, die een bruggetje maakt naar commercieel gewin voor e-commerce. Herkennen van emoties is één, legt Heylen uit, iets met de informatie doen is iets anders. En daar wringt de schoen momenteel nog. Heylen: ‘Herkennen van emoties gaat steeds beter. Nu moet het systeem iets zinnigs met die informatie gaan doen. Wat is een intelligente manier van de computer om te reageren? De killer-app hebben we nog niet gevonden.’

Wat webshops betreft denkt Heylen aan het gedrag van bezoekers loggen, smaakprofielen van klanten maken en finetunen van methodes om informatie beter te presenteren en producten beter aan te prijzen. De computer kan zien hoe mensen reageren op advertenties, waarop geklikt wordt, hoe vaak en snel er geklikt wordt, en wanneer de aandacht verslapt. Op basis van die informatie kunnen websites verbeterd worden.

Wel interessant, niet baanbrekend. Toch ziet Heylen ontwikkelingen die tot een versnelling gaan leiden: ‘De eerste is het ontstaan van nieuwe algoritmes die veel meer data aankunnen en op basis waarvan computers zelf gaan leren. Een mooi voorbeeld daarvan is spraakherkenning. Computers herkennen inmiddels 95 procent van alle woorden. Dat is baanbrekend! Een tweede belangrijke ontwikkeling heeft te maken met real life informatie. We gebruikten vroeger alleen informatie uit kunstmatige onderzoekssettings. Door de opkomst van Facebook en wearables weten we nu veel beter hoe mensen zich in het echt gedragen, hoe ze fysiologisch reageren op inspanning, wat ze concreet doen en wat ze echt leuk vinden.’

Microblushes

Kortom: de ontwikkelingen gaan harder dan we misschien denken. Ook het Rathenau Instituut is die mening toegedaan. Verbeterde camera’s, slimmere software en grotere databases maken de technologie steeds preciezer, stelt onderzoeker Linda Kool, gespecialiseerd in robotisering, kunstmatige intelligentie en herkenning van emoties. Kool: ‘In een gecontroleerde setting herkent de software ook valse emoties, zoals wat mensen zeggen en wat ze echt vinden. Het is een kwestie van tijd dat ook ongecontroleerde toepassingen goed genoeg zijn.’

Dan de ethische kwestie. Wat betekent de inzet van verbeterde technologie voor de maatschappij? Kunnen we straks nog anoniem webwinkelen? Wat zijn de gevolgen voor burgers als straks alles automatisch kan worden uitgelezen? En wat zouden ondernemers erover moeten weten? Kool stelt dat webwinkels zich goed moeten realiseren waar ze aan beginnen. ‘Het zou een mensenrecht moeten zijn om niet gemeten, gemonitord en beïnvloed te worden als je dat niet wilt.’

Ze geeft microblushes als voorbeeld. Dat zijn kleine veranderingen in de kleur van de huid, veroorzaakt door emoties. Daar heb je als mens nauwelijks invloed op. Computers kunnen die kleurveranderingen zien. Kool: ‘Hoe weerbaar is de consument nog als hij daar geen controle over heeft maar de computer er wel iets mee gaat doen? Dat geldt in mindere mate ook voor spierspanningen, hartslag en bloedcirculatie. Webwinkels moeten zich beraden op deze issues. Hoe gaan ze hun klanten informeren over wat ze doen? Hoe ver mogen ze gaan met ingrijpen in het leven van hun klanten? Daar zijn nog geen regels voor, maar die gaan er zeker komen. De Raad van Europa buigt zich erover en strengere privacywetgeving komt eraan.’

Computer vertrouwen

Ook Van Hecke van AmsterdamGold heeft te maken met deze heikele kwestie. Hij breekt zich er het hoofd over: ‘Onze klanten willen absoluut niet dat we hen controleren op basis van alleen biometrische herkenning. Als ze dat merken, worden ze zenuwachtig.’ Dat neem niet weg dat het beter leren herkennen van hun emoties hoog op Van Hecke’s lijstje staat. Hij wil weten wat hun doel is om te beleggen in goud, hoe lang ze willen beleggen en waarom ze het doen.

Van Hecke: ‘Een online adviesmodule waarmee ook gebaren, taalgebruik en gezichtsexpressie gemeten kunnen worden, zou voor ons een uitkomst zijn. Ook eyetracking en het begrijpen van de intonatie van de stem zouden wij heel goed kunnen gebruiken. Maar altijd aanvullend op traditionele methodes. Om iemands identiteit te achterhalen zou stem- of gezichtsherkenning een extra check op het paspoort kunnen zijn. Vingerafdrukken gebruiken we al op die manier, dus aanvullend. We hebben hier kluizen waar miljoenen aan goud in liggen opgeslagen. Zulke kluizen gaan alleen open met een combinatie, waaronder de vingerafdruk. Ik vertrouw nooit alleen op de computer.’