Uso de canales de comunicación adicionales en sistemas conversacionales

Abstract

Durante los últimos años ha crecido notablemente el interés en la utilización conjunta del habla y otras modalidades de comunicación en los sistemas conversacionales, dando lugar al desarrollo de los denominados sistemas conversacionales multimodales. Disponiendo de varias modalidades de interacción, los usuarios pueden recibir mayor información del sistema conversacional en cada momento y éste puede recibir mayor información de los usuarios, reduciéndose por tanto el número de errores durante la interacción. En este trabajo se presenta una breve introducción a tecnología de la interacción multimodal, la cual pretendemos incorporar en los sistemas conversacionales desarrollados en nuestro laboratorio. El artículo describe las características más importantes de los sistemas conversacionales multimodales, las principales técnicas usadas para desarrollarlos y algunos de los problemas a los que deben hacer frente. Finalmente, describe brevemente el funcionamiento de dos sistemas conversacionales multimodales.

In recent years there has been an increasing interest concerning the integration of speech and other communication media in conversational systems, originating the so-called multimodal conversational systems. When several interaction modalities are available, users can receive more feedback from a conversational system and it can also receive more information from users, leading to a reduction of the interaction errors. This paper presents a brief introduction to the multimodal interaction technology, which we plan to set up for the conversational systems developed in our lab. The paper focuses on the most interesting features of multimodal systems, addressing the design techniques and some of the main problems to solve. Finally, it presents briefly the performance of two multimodal conversational systems. Keywords: Multimodal dialogue systems, man-machine interaction, speech recognition, speech synthesis, dialogue management.