Qué sucedió
El artículo presenta un enfoque de entrenamiento con pseudoetiquetado iterativo para el reconocimiento automático de voz (ASR) en cambio de código entre mandarín e inglés, lo que marca la primera aplicación de este método al CS-ASR.
El enfoque utiliza un gran corpus sin etiquetar para generar pseudoetiquetas, creando así un conjunto de datos semisupervisado para el entrenamiento.
El entrenamiento se desarrolla en tres fases: generación de pseudoetiquetas, entrenamiento del modelo bilingüe en dos etapas y mejoras iterativas.
Por qué importa
El cambio de código, en el que los hablantes alternan entre idiomas dentro de un mismo enunciado, es notoriamente difícil para los sistemas de ASR debido a la escasez de datos de entrenamiento específicos.
Al aprovechar datos sin etiquetar mediante pseudoetiquetado iterativo, este enfoque ofrece una vía potencial para mejorar el CS-ASR sin depender de la costosa transcripción manual de habla con cambio de código.
El proceso de refinamiento iterativo podría ayudar a los modelos a mejorar progresivamente sus propias predicciones, aprovechando mejor los recursos bilingües disponibles.
Datos clave
El cambio de código implica alternar idiomas dentro del mismo enunciado y plantea desafíos importantes para el ASR.
Este artículo aplica el pseudoetiquetado iterativo al CS-ASR por primera vez.
El enfoque consta de tres fases: generación de pseudoetiquetas, entrenamiento del modelo bilingüe en dos etapas y mejoras iterativas.
Qué observar a continuación
Si el enfoque de pseudoetiquetado iterativo puede extenderse a otros pares de idiomas con cambio de código más allá de mandarín-inglés.
Cómo evoluciona la calidad de las pseudoetiquetas generadas a lo largo de las iteraciones y si esto conduce a mejoras de rendimiento sostenidas.
La posible integración de este método semisupervisado en sistemas de ASR prácticos desplegados en contextos multilingües o de mezcla de códigos.