Brain Imaging of Multimodal Communication in Development

How does a child's brain process the multimodal aspects of language?

Het team

Wie is er betrokken bij dit project?

Please click here for the English Version.

IMG_3227
Kimberley, Kazuki, Christina, Melissa, Asli en Judith

Dr. Kazuki Sekine, Hoofdonderzoeker

Kazuki_photo

Kazuki Sekine ontving zijn MA diploma in de psychologie aan de Shirayuri University in Japan. Hij voltooide zijn PhD aan dezelfde universiteit. In zijn proefschrift voerde hij een longitudinale studie uit naar de spatiele expressie in taal en gebaren bij kinderen van 3 tot 6 jaar oud. Deze studie voerde hij uit onder leiding van professor Tadashi Suzuki. Tijdens zijn promotieonderzoek begon hij een samenwerking met professor Virginia Volterra en onderzocht hij de woordenschat en expressie van gebaren en vergeleek dit bij Italiaanse en Japanse kinderen. Kazuki begon zijn eerste postdoctorale positie in Japan, onder leiding van professor Nobuhiro Furuyama. Hij onderzocht de ontwikkeling van gebaren en verteltechniek in basisschoolkinderen. Tijdens zijn positie als postdoc begon hij een samenwerkingsproject over gebaren in mensen met afasie onder leiding van professor Miranda Rose. Kazuki verhuisde naar het Verenigd Koninkrijk in 2012 voor een tweede postdoc-positie en werkte hier samen met professor Sotaro Kita aan het begrip van gesproken zinnen en gebaren, beide bij moedertaalsprekers van het Japans en het Engels. In 2016 ontving Kazuki een Marie Curie postdoctorale beurs en werkt momenteel aan een project met professor Asli Özyürek.

Klik hier voor zijn onderzoekspagina
E-mail: Kazuki.Sekine@mpi.nl

Dr. Kimberley Mulder, Onderzoeker

IMG_1303

Kimberley Mulder verkreeg haar MA diploma in France taal en cultuur in 2005 en haar onderzoeksmaster in de linguïstiek in 2009 (beide cum laude) aan de Universiteit van Amsterdam. Samen met professor Jan Hulstijn werkte ze aan haar master’s project (bijdrage: Language Learning Small Grant). In oktober 2009 startte ze een PhD-positie bij het Donders Instituut voor Brein, Cognitie en Gedrag en het Max Planck Instituut voor Psycholinguïstiek in Nijmegen. Ze onderzocht in haar proefschrift, onder leiding van professor Rob Schreuder en professor Ton Dijkstra, de effecten van de activatie van intertalige morfologische woordfamilieleden en orthografische buurwoorden op het lezen in een tweede taal. Na het voltooien van haar PhD in 2013 begon Kimberley aan een postdoc-positie bij het Centre for Language Studies aan de Radboud Universiteit Nijmegen in het ERC project van professor Mirjam Ernestus. In dit project onderzocht ze de mechanismen die ten grondslag liggen aan de verwerking van gereduceerde spraak in een moedertaal en een tweede taal. Op dit moment werkt Kimberley als een postdoctorale onderzoeker in het VICI project van professor Asli Özyürek genaamd “Geef cognitie een hand: linken van spatiele cognitie en linguïstische expressie in moedertaalsprekers en tweedetaalsprekers van gebarentaal en bimodale tweetaligen”.

Klik hier voor haar onderzoekspagina
E-mail: Kimberley.Mulder@mpi.nl

Prof. Dr. Asli Özyürek, Adviserend hoofdonderzoeker (directeur Multimodal Language and Cognition Group)

Research Asli-2

Na het voltooien van haar bachelor in de psychologie aan de Bogazici University in Turkije, ontving Asli een doctoraatstitel in de psychologie en linguïstiek aan de Universiteit van Chicago (2000). Haar adviseur was professor David McNeill. In haar these onderzocht ze de rol van sociale ruimte en het design van de ontvanger in het vormen van spraak en gebaren. Sinds deze tijd heeft Asli een postdoc-positie met professor Sotaro Kita bij het Max Planck Instituut voor Psycholinguïstiek in Nijmegen en een positie als assistent-professor aan de Koc University Psychology Department (tussen 2000 en 2003). Ze is verbonden aan de Radboud Universiteit Nijmegen, Centre for Language Studies sinds 2004, waar ze sinds 2010 professor is. Asli verkreeg prestigieuze carrièrebeurzen zoals NWO Cognition (postdoc level), NWO/VIDI en ERC Starting beurzen als wel langetermijnbeurzen van NIH en NSF, samenwerkingen met professor Susan Goldin Meadow en vele Marie Curie trainingsbeurzen. Ze heeft grote publicaties in bijvoorbeeld Science, PNAS, Cognition en Psych Science. In haar onderzoek richt ze zich voornamelijk op taalverwerking in een dynamische, multimodale context en in het bijzonder de rol van gebaren, oogbewegingen en lichaamstaal in gebarentaal, vormleren en vormverwerking als ook de neurale infrastructuur van multimodale communicatie. Asli Özyürek is ook betrokken in een project over de eerste bimodale bilinguale school in Turkije.  Naast haar onderzoek aan de Radboud Universiteit Nijmegen is ze ook onderzoeker aan het Max Planck Instituut Nijmegen en het Donders Instituut voor Brein, Cognitie en Gedrag. Samen met dr. Judith Holler coördineert ze het Nijmegen Gebaren Centrum.

Klik hier voor haar onderzoekspagina (Radboud) of hier (Max Planck)
E-mail: Asli.Ozyurek@mpi.nl

Dr. Judith Holler, Adviserend hoofdonderzoeker

judith_new

De focus van het onderzoek van Judith is menselijke multimodale communicatie. Ze is in het bijzonder geïnteresseerd in hoe communicatieve inhoud en de pragmatiek van een gesprek de wisselwerking tussen lichaamstaal en spraak beïnvloeden. Ook is ze geïnteresseerd in hoe sociale aanwijzingen en context de perceptie en de mate van communicatie van co-spraak gebaren en andere lichaamssignalen en hun integratie met spraak kunnen moduleren. Judith’s huidige projecten gebruiken paradigma’s waarin multimodale taalproductie- en begrip worden getest in meer gesitueerde contexten met een speciale focus op de wisselwerking tussen verschillende communicatieve modaliteiten, inclusief spraak, gebaren en oogbewegingen. Ze onderzoekt ook de rol van visuele modaliteiten in spraakwisselingen en actieherkenning. Judith is ook geïnteresseerd in de rol van gebaren in gezondheids-gerelateerde contexten. Huidige projecten richten zich op (i) de rol van gebaren in pijncommunicatie (productie en begrip) en (ii) het gebruik van communicatieve waarde van co-spraak gebaren in de Ziekte van Parkinson (waarbij de focus ligt op de cognitieve interactie tussen gebaar, actie en taal).

Klik hier voor haar onderzoekspagina
E-mail: Judith.Holler@mpi.nl

Dr. Spencer Kelly, medewerker

20140822_univ_portrait_0366

Dr. Kelly is professor Psychology (psychologie) en Neuroscience (neurowetenschappen) en mededirecteur van het Centrum voor Taal en het Brein aan de Colgate Universiteit. Zijn onderzoek richt zich op hoe en waarom mensen gebaren gebruiken bij het spreken, denken en leren.­­

 

 

 

Suzanne de Jong, Student assistent

Suzanne zit in haar laatste jaar van de bachelor Taalwetenschap aan de Radboud Universiteit in Nijmegen. Sinds september 2018 is ze bezig met haar bachelorscriptie in het Multimodal Language and Cognition lab onder leiding van prof. dr. Asli Özyürek en dr. Kazuki Sekine. Hiervoor onderzoekt ze door middel van een EEG-experiment hoe kinderen spraak en gebaren integreren in hun hersenen. Binnen de taalwetenschap is Suzanne vooral geïnteresseerd in de neuro- en psycholinguïstiek.

 

Melissa van Wijk, Student assistent

MelissavanWijk

Melissa studeerde taalwetenschap en psychologie in Nijmegen. Haar interesse gaat uit naar (cognitieve) neuropsychologie. Melissa is verantwoordelijk voor het werven van proefpersonen en de planning van het onderzoek.

 

 

 

 

 

 

Wie waren er eerder betrokken bij dit project?

Christina Schoechl, Master student Cognitive Neuroscience

Christina

Christina Schoechl ontving haar BA diploma in de psychologie (summa cum laude) met een focus op ontwikkelingspsychologie in New York, Verenigde Staten in 2015. Hierna verhuisde ze naar Nijmegen, waar ze begon aan de onderzoeksmaster Cognitive Neuroscience met een specialisatie in taal en communicatie aan de Radboud Universiteit en het Donders Instituut voor Brein, Cognitie en Gedrag. In september 2016 begon Christina aan een stage bij het Multimodal Language and Cognition Lab waar ze haar masterthese uitvoert onder leiding van professor dr. Alsi Özyürek en dr. Kazuki Sekine. Christina is geïnteresseerd in vroege taalverwerving en ontwikkeling en de multimodaliteit van communicatie.

Marlijn Metzlar, Student assistent

MarlijnMarlijn Metzlar studeert Algemene Cultuur Wetenschappen aan de Radboud Universiteit in Nijmegen. Op het moment volgt ze onder anderen vakken die ingaan op cultuur en politiek, en intertekstualiteit binnen de literatuur. Sinds 2016 neemt ze regelmatig deel aan psycholinguïstische testen bij het Max Planck Instituut, waardoor haar interesse naar dit onderzoeksveld groeide. Zij ziet haar positie in dit onderzoek als een uitgelezen kans om een wetenschappelijk veld te verkennen, dat niet direct raakvlakken heeft met haar studie, maar wel met haar interesse. Als student-assistent is Marlijn verantwoordelijk voor het werven van proefpersonen en de planning van het onderzoek.

%d bloggers like this: