De technologie achter het project komt van Dentsu Lab en NTT. Dentsu Lab is een internationaal innovatie lab, gevestigd in Amsterdam, dat onderzoekt hoe technologie nieuwe vormen van menselijke expressie mogelijk kan maken. Executive Creative Director Pascal Rotteveel stond aan de basis van het project. FHM ging met hem in gesprek.

Om te begrijpen hoe een ballerina met ALS uiteindelijk met haar gedachten kan dansen, moet je eerst weten waar het project vandaan komt. Volgens Pascal begint het verhaal niet bij dans, maar bij een groter idee: technologie gebruiken om mensen opnieuw te laten deelnemen aan de maatschappij. “Dentsu is een enorm mediabedrijf met allerlei verschillende takken. We doen reclame, experience design en technologische innovatie. Binnen dat ecosysteem bestaat Dentsu Lab, een creatief innovatielab dat in 2014 in Japan is gestart. De afgelopen jaren zijn we dat wereldwijd aan het uitrollen, waaronder Amsterdam.”

Hij beschrijft het lab als een plek waar technologie, creativiteit en maatschappelijke vraagstukken samenkomen. “Het doel van Dentsu Lab is eigenlijk vrij simpel, we willen onderzoeken hoe nieuwe technologie mensen kan helpen om dingen te doen die eerder onmogelijk waren. Soms gaat dat over entertainment of nieuwe vormen van media, maar vaak ook over grotere maatschappelijke vraagstukken.”

Een belangrijk initiatief van Dentsu Lab en technologiebedrijf NTT’s samenwerking is Project Humanity. Een meerjarig onderzoeksprogramma dat zich richt op technologie voor mensen met ernstige lichamelijke beperkingen. “Wat we zagen, is dat medische technologie meestal heel praktisch is. Het is ontworpen om iemand in leven te houden of om basiscommunicatie mogelijk te maken. Dat is natuurlijk ontzettend belangrijk, maar het gaat zelden over creativiteit of zelfexpressie. Terwijl wetenschappelijk bewezen is dat creatieve expressie juist cruciaal kan zijn voor mensen die met een ernstige ziekte leven.”

Die gedachte werd het vertrekpunt van Project Humanity. “Wij wilden eigenlijk onderzoeken: hoe kunnen we technologie inzetten om mensen met een beperking niet alleen functioneel te helpen, maar ook om zichzelf weer creatief te uiten? Hoe kun je iemand opnieuw laten deelnemen aan kunst, cultuur of performance?”

Die zoektocht bracht het team uiteindelijk bij het verhaal van de Amerikaanse Breanna Olson. Olson groeide op met ballet. Als kind stond ze urenlang in de studio samen met haar broer Casey Herd. Ze volgde een professionele balletopleiding in de Verenigde Staten en droomde van een carrière op het podium. Toen ze kinderen kreeg stopte ze met professioneel dansen, maar haar liefde voor ballet bleef altijd bestaan. Totdat ze de diagnose ALS kreeg, en dat alles veranderde.

Tijdens een wandeltocht drie jaar geleden merkte Olson dat haar benen ongewoon zwaar voelden. Daarna begon haar voet vreemd te reageren en kreeg ze last van rugpijn. Na een lange reeks medische onderzoeken kreeg ze op 3 oktober 2023 de diagnose ALS. Voor veel mensen betekent die diagnose een uiteindelijke verlamming en het einde van een carrière in de podiumkunsten, maar Olson wilde nog één keer dansen. Samen met haar broer maakte ze een korte film, Dancing with ALS. In de film voeren ze samen een laatste choreografie uit: Olson zittend op een stoel, soms steunend op haar broer, terwijl haar lichaam langzaam minder controle krijgt.

De film werd gefilmd door haar dochter en zou eigenlijk haar artistieke afscheid zijn. Tot iemand bij Dentsu Lab hem zag: “Toen Naoki Tanaka, onze Chief Creative Officer, die film zag, was hij enorm geraakt,” vertelt Pascal. “Hij zag iemand die haar hele leven had gewijd aan dans en die nu door haar lichaam werd tegengehouden. Tegelijkertijd zag hij ook iets anders: haar artistieke intentie was er nog steeds.”  Tanaka besloot Olson op te zoeken in haar woonplaats Tacoma in de Verenigde Staten. Tijdens dat gesprek ontstonden ambitieuze vragen. Wat als haar lichaam niet meer hoeft te dansen? Wat als haar gedachten het werk kunnen doen? “Daar begon eigenlijk het idee voor Waves of Will. We vroegen ons af: als de artistieke intentie nog steeds in haar hoofd zit, kunnen we die dan zichtbaar maken met technologie?”

Om Olson opnieuw te laten optreden ontwikkelden Dentsu Lab en NTT een hersen-computerinterface. Tijdens de voorstelling draagt Olson een headset met achttien EEG-elektroden die haar hersenactiviteit meten. Die signalen worden vervolgens door een machine-learningmodel geanalyseerd. “Wat we eigenlijk meten, is motorische verbeelding. Dat betekent dat iemand denkt aan een beweging, bijvoorbeeld het grijpen met de linkerhand of de rechterhand. Zelfs als je spieren dat niet meer kunnen uitvoeren, bestaat dat signaal nog steeds in je hersenen.”

Die hersensignalen worden vervolgens vertaald naar bewegingen van een digitale danser. “Je kunt het zien als een soort controller, Breanna navigeert als het ware door een grid van bewegingen. Door links of rechts te denken kan ze een bepaalde dansbeweging selecteren. Die beweging wordt dan uitgevoerd door een virtuele avatar op het podium.” Het systeem moest wel leren omgaan met de chaos van echte hersensignalen: “Hersengolven zijn ongelooflijk complex, ze veranderen afhankelijk van stress, concentratie, vermoeidheid of zelfs transpiratie. Daarom hebben we een machine-learningmodel ontwikkeld dat continu bijleert en zich aanpast aan die variaties.”

Het resultaat is een systeem dat in realtime kan reageren op Olsons gedachten. Het mooie is dat het systeem steeds beter wordt: “Hoe vaker je het gebruikt, hoe nauwkeuriger het wordt. Omdat we werken met een externe headset in plaats van een hersenimplantaat, is de technologie relatief toegankelijk.” Hoewel het systeem nu wordt gebruikt voor een dansvoorstelling, ziet Pascal veel bredere toepassingen.

“In essentie is dit een nieuwe manier om met technologie te communiceren,” zegt hij. “Alles wat je met een controller kunt bedienen zoals een computer, een videogame, een rolstoel of een robot, zou je in theorie ook met hersengolven kunnen aansturen.”

Voor Pascal draait het project uiteindelijk niet alleen om technologie, maar gaat het ook over hoe we naar mensen met een beperking kijken. “Wat vaak gebeurt, is dat iemand met een ziekte wordt gereduceerd tot die diagnose. Je bent niet langer Breanna, de ballerina. Je bent ‘de ALS-patiënt’. Dat verandert hoe mensen naar je kijken.”

Volgens hem kan technologie helpen om dat perspectief te verschuiven: “Wat we met Waves of Will wilden doen, is Breanna weer centraal op het podium zetten. Niet als patiënt, maar als performer. Als iemand met een creatieve visie.” Tijdens de première in Amsterdam werd duidelijk hoeveel impact dat kan hebben: “Ik zat vooraan in de zaal en keek op een gegeven moment achterom, en ik denk dat tachtig procent van het publiek aan het huilen was. Dat moment liet zien hoe krachtig zoiets kan zijn.”

Volgens hem is dit pas het startpunt van wat mogelijk is: “We staan eigenlijk nog maar aan het begin van deze technologie. Wat we hier laten zien is een eerste stap, maar stel je voor dat mensen met ALS straks volledig kunnen communiceren, werken, muziek maken of kunst creëren via hun hersenen. Dan verandert dat compleet hoe we denken over beperkingen en participatie.”