The C-ORAL-BRASIL proposal for the treatment of multimodal corpora data: the BGEST corpus pilot project: La propuesta del C-ORAL-BRASIL para el tratamiento de datos multimodales en corpus: el proyecto piloto del corpus BGEST

Abstract: Due to major technological advances, multimodal data treatment and compilation is a thriving possibility in Linguistics and provides new insights about the interplay of the sound signal and its corresponding gestuality in multimodal spontaneously produced data of how speech and gestures couple. This chapter discusses methodological issues associated with multimodal data compilation and treatment, especially regarding the crucial role of action. The main objective was to connect information structure organization, as it is treated through the Language into Act Theory – L-AcT (Cresti, 2000; Cresti & Moneglia, 2010; Moneglia & Raso, 2014), with the concept of spatio-motoric packaging as found in Kita & Özyürek (2003). The novelty of this methodological proposal stems from the crucial role prosody plays in the definitional categories found in L-AcT and its impact on the interpretation of gestures. The BGEST corpus, a pilot study within the C-ORAL-BRASIL research initiative, is presented as the basis of the discussion carried.
Resumen: Debido a los principales avances tecnológicos, la recopilación y el tratamiento de datos multimodales es una posibilidad animadora para brindar nuevas perspectivas sobre la interacción de la señal sonora con la gestualidad en datos multimodales producidos espontáneamente de cómo se acoplan el habla y los gestos. Este capítulo discute cuestiones metodológicas asociados con la recopilación y el tratamiento de datos multimodales, especialmente con respecto al papel crucial de
la acción. El objetivo principal fue conectar la organización de la estructura de la información, tal como abordada a través de la Teoría de la lengua en Acto (Cresti, 2000; Cresti & Moneglia, 2010; Moneglia & Raso, 2014), con el concepto de empaquetado espacio-motor encontrado en Kita y Özyürek (2003). La novedad de esta propuesta sucede del papel crucial que la prosodia desempeña en las categorías informacionales de la L-AcT y su impacto en la interpretación de los gestos. El corpus BGEST, un
estudio piloto dentro del grupo de investigación C-ORAL-BRASIL, es presentado como base para la discusión realizada.