Recente bevindingen

Please click here for the English Version.

Dankzij alle kinderen en ouders die deelnamen aan ons onderzoek, hebben we de eerste studie naar neurale integratie van gebaren en spraak met behulp van EEG kunnen afronden. Hieronder hebben we de belangrijkste bevindingen samengevat. Deze zullen worden gepresenteerd op de 8^econferentie van de International Society for Gesture Studies (ISGS) in Kaapstad, Zuid Afrika.

We willen iedereen hartelijk bedanken voor zijn/haar medewerking!

Samenvatting van de bevindingen

Wanneer we interacteren, gebruiken we gebaren. We denken, intuïtief, dat het gebruik van gebaren kinderen helpt om boodschappen te begrijpen, maar we weten niet of gebaren echt helpen in de begrijpelijkheid van spraak, of dat kinderen informatie van gebaren en spraak kunnen integreren. Dit hebben we onderzocht met behulp van EEG.

Sommige studies met volwassenen die zich hebben gefocust op de N400 component (bijvoorbeeld Drijvers & Özyürek, 2018; Habets et al., 2011), tonen een semantisch integratieproces aan tussen spraak en gebaren. Er werd gevonden dat een groter N400 effect werd opgewekt wanneer volwassenen een incongruente gebaar-spraakcombinatie zagen dan wanneer ze een congruente gebaar-spraakcombinatie zagen (Drijvers & Özyürek, 2018). Er is echter weinig bekend over het online cognitieve proces dat ten grondslag ligt aan de gebaar-spraak integratie bij kinderen. In dit onderzoek werd er dus gekeken naar de neurocognitieve verwerking van semantische integratie van gebaren en spraak in kinderen met behulp van EEG.

17 Nederlandse moedertaalsprekers van 7 jaar oud (gemiddelde leeftijd: 7.37, SD = 0.46, 11 meisjes) namen deel aan het onderzoek. Deelnemers bekeken korte videoclips waarin een acteur een gesproken werkwoord uitsprak en tegelijkertijd een iconisch gebaar maakte dat een actie representeert. Elke videoclip had twee versies van gebaar-spraakcombinaties: in de congruente conditie brachten het gebaar en het gesproken woord hetzelfde werkwoord over (bijvoorbeeld een gooi-gebaar + het werkwoord ‘gooien’), terwijl in de congruente conditie het gebaar en het gesproken woord niet hetzelfde werkwoord overbrachten (bijvoorbeeld een gooi-gebaar + het werkwoord ‘drinken’). We vroegen de deelnemers om aandachtig te kijken en luisteren naar de videoclips. Voor elke conditie waren 60 items geselecteerd met allemaal verschillende werkwoorden. Terwijl de videoclips werden gerepresenteerd op een computerscherm, werd de hersenactiviteit van de kinderen gemeten met behulp van EEG. Om er zeker van te zijn dat de kinderen aandacht schonken aan de taak, werd na sommige blokken van videoclips gevraagd of de kinderen konden aangeven of ze een bepaald werkwoord hadden gehoord (bijvoorbeeld: “Hoorde je ‘gooien’?”) door op één van twee knoppen te drukken.

De event-related potentials (ERPs) werden gekoppeld aan de start van de spraak in de videoclips. Om de EEG data van beide condities te vergelijken, selecteerden we een whole time window (0 ms vanaf start van de spraak tot 1900 ms) voor de data analyse. We vergeleken de data van beide condities van 15 deelnemers (data van twee deelnemers werden niet meegenomen in de EEG analyse vanwege een hoog aantal trials met artifacten). De op cluster gebaseerde permutatie test liet een significante negatieve cluster zien in het tijdsvenster van 1040 ms tot 1194 ms na start van de videoclip. Ook liet het een significant verschil zien tussen de congruente en incongruente condities (p = 0.017). Gegeven het feit dat de spraak gemiddeld 660 ms begon na start van de videoclip, laat deze test zien dat het significante effect ongeveer 400 ms na begin van de spraak optreedt.

Dit is de eerste studie die neurocognitie van taalverwerking op een semantisch level, door gebruik van multimodale presentatie van taalstimuli, heeft onderzocht. Onze bevindingen laten voor de eerste keer op neurale basis zien dat er al op 7-jarige leeftijd spraak-gebaar integratie lijkt te zijn. Dit heeft implicaties voor het gebruik van gebaren door volwassenen naar kinderen toe in multimodale, communicatieve situaties.

Referenties
Drijvers, L., & Özyürek, A. (2018). Native language status of the listener modulates the neural integration of speech and iconic gestures in clear and adverse listening conditions. Brain and Language, 177–178, 7-17.

Habets, B., Kita, S., Shao, Z., Özyurek, A., & Hagoort, P. (2011). The role of synchrony and ambiguity in speech–gesture integration during comprehension. Journal of Cognitive Neuroscience, 23(8), 1845–1854.

Dit onderzoek werd verricht door de volgende onderzoekers:
Kazuki Sekine
Kimberley Mulder
Asli Özyürek
Judith Holler
Spencer Kelly
Christina Schoechl
Melissa van Wijk