Ibm watson ajuda estudantes universitários a aprender mandarim

As universidades percorreram um longo caminho em seus estudos de idiomas, indo além das aulas tradicionais em uma sala de aula e lições pré-gravadas sem interação. Agora, os alunos têm acesso a tecnologias como inteligência artificial (IA) e processamento de linguagem natural (PNL) em um ambiente de aprendizado imersivo. É o que está acontecendo no Laboratório de Sistemas Cognitivos e Imersivos (CISL) no campus de Troy, Nova York, do Rensselaer Polytechnic Institute (RPI). É aqui que o instituto se uniu à IBM Research para criar a tecnologia para um curso de verão de seis semanas em que os alunos interagem com agentes de IA em ambientes que incluem mercados de rua e restaurantes.

O curso, intitulado "Chinês imersivo assistido por IA", apresenta um sistema de exibição panorâmica de 360 ​​graus de cenas geradas por computador na Sala Imersiva Cognitiva (CIR) do laboratório, também chamada de "Sala de Situações". As cenas virtuais acontecem na China. Os alunos conversam com avatares alimentados pelo Watson Assistant e são corrigidos em suas falas e pronúncias. No CIR, os alunos usam IA conversacional, geração narrativa, percepção do contexto espacial e tecnologia de reconhecimento de gestos e faciais.

O CIR é um exemplo da gama diversificada de potencial para o IBM Watson em vários setores, além da educação. Esses setores incluem agricultura, recursos humanos (RH) e gerenciamento de frotas.

No RPI, além do Watson Assistant, os alunos usam o Watson Speech to Text, o Watson Text to Speech e o Language Translator em seus estudos.

Os alunos aprendem mandarim usando IA no campus da RPI. (Crédito de imagem: IBM Research / RPI)

Uma experiência de aprendizado ativo

Para Julian Wong, um júnior do RPI, a experiência imersiva de IA era uma maneira atraente de aprender mandarim, porque lhe dá uma maneira mais ativa de aprender. Como o mandarim é um idioma tonal no qual uma mudança de tom pode alterar o significado das palavras, os avatares na experiência de IA fornecem feedback sobre o tom para garantir que Wong e os outros alunos estejam recebendo as pronúncias corretas.

Trabalhar com IA no CIR fornece um bom equilíbrio com o tempo regular da sala de aula, de acordo com Wong. "Reunir-se para conversar com o computador… definitivamente ajuda com muitos aspectos do aprendizado do idioma, especialmente habilidades verbais", disse Wong.

A aula de mandarim de Wong se reúne quatro vezes por semana. Às segundas e sextas-feiras, ele assiste a uma aula em sala de aula tradicional com Helen Zhou, professora associada do RPI. Lá, ele aprende um novo vocabulário e recebe uma introdução a frases e estruturas gramaticais. Às terças e quintas-feiras, a turma se reúne no CIR, onde os alunos conversam com agentes virtuais. Em um ambiente de restaurante, Wong disse que os alunos podem passar por todo o processo de sentar no restaurante, olhar para um menu, pedir comida, conversar com um garçom sobre como a comida é preparada e pagar a conta. Outros ambientes incluem um jardim, um mercado e um campus escolar.

A aula de mandarim na sala de aula imersiva difere do ambiente tradicional porque fornece uma experiência multimodal de linguagem e vídeo, de acordo com Zhou. Ela disse que uma aula tradicional seria menos imersiva e interativa. "Na simulação na sala de aula imersiva, temos dois agentes para brigar entre si, para tentar convencer os alunos a comprar o produto", disse Zhou. "Portanto, os alunos entenderiam por experiência pessoal, em vez de assistir a vídeos ou ouvir apenas palestras. Acredito que eles entenderiam a cultura mais facilmente do que apenas aprendendo com livros ou ouvindo fitas".

No CIR, os alunos fazem testes relacionados às cenas com as quais eles interagiram e levantam as mãos para dar suas respostas. A tecnologia de visão computacional das câmeras na sala captura seus gestos. O assistente de IA faz um teste relacionado à cena e os alunos devem responder com uma frase em chinês.

"Se você deseja selecionar um dos pop-ups que estão na tela, pode estender a mão, palma da mão aberta e fechar a mão", explicou Wong. "Você seleciona qualquer que seja o cursor no momento. Nos pequenos testes, se você souber qual é a resposta certa, poderá passar a mão para os caracteres que deseja selecionar e fechar a mão para selecioná-los. informará se você acertou ou não."

O agente virtual entende os alunos na maioria das vezes, exceto quando eles podem não ter o microfone perto da boca. O sistema possui configurações diferentes de reconhecimento de voz que capturam os alunos se eles não estiverem com sua pronúncia. Ele também fornece feedback imediato em uma conversa, se você não tiver um professor presente. No seu tempo livre, os alunos da turma de mandarim acessam um site para acessar clipes de voz para praticar.

Um recurso interessante da experiência imersiva no RPI é a conscientização do contexto espacial, na qual vários agentes virtuais na tela podem dizer com quem você está fazendo contato visual. "Se você diz algo enquanto olha para um agente, esse agente responderá e não o outro", disse Wong.

Um aluno usa a tecnologia de reconhecimento facial e gesto do IBM Watson como parte de uma aula de mandarim no RPI. (Crédito de imagem: IBM Research / RPI )

Como a experiência imersiva se desenvolveu

A experiência imersiva da RPI veio foi criada quando professores de idiomas e professores de design de jogos se reuniram para discutir uma maneira melhor de ensinar idiomas. Um plano para desenvolver um RPG logo se transformou em uma discussão sobre como ensinar mandarim por meio de uma simulação de cenários da vida real, de acordo com Hui Su, que é diretor de experiência do usuário cognitivo da IBM Research e diretor do CISL. A IBM e o RPI começaram a desenvolver o curso no final de 2015 e estabeleceram o laboratório conjunto na época. O CISL então tomou forma logo depois.

"O objetivo do laboratório é construir o ambiente cognitivo e imersivo para melhorar as atividades do grupo, aumentar a inteligência do grupo no contexto do aprendizado e da tomada de decisões", afirmou Su. "Também nos concentramos em criar salas de reuniões imersivas cognitivas… para analisar os dados de uma situação crítica e tentar entender as informações e criar decisões ou recomendações para os tomadores de decisão".

Como parte do programa de aprendizado de idiomas da AI, a IBM e o RPI estão experimentando a análise de contorno de pitch. Su descreveu como essa tecnologia funciona. "Quando você fala uma sílaba, quando pronuncia uma sílaba, a tecnologia subjacente captura a voz e gera um contorno visual de como você pronuncia essa sílaba", disse Su. "Então ele usa esse contorno visual e compara esse contorno visual com o contorno visual de um falante nativo".

Os alunos podem fazer ajustes na pronúncia para alcançar o tom correto. Eles aprenderão que precisam mudar a pronúncia de certas sílabas. Com o conhecimento que os alunos adquirem ao aprender mandarim na sala de aula imersiva usando a tecnologia Watson, eles terão mais confiança conversando na vida real, de acordo com Su.

"A idéia toda é fornecer contexto cultural suficiente por meio de nosso ambiente imersivo e tecnologia de IA para permitir que os alunos pratiquem um exercício", disse Su. "Portanto, eles não terão medos como conversar com as pessoas na vida real."

Um aluno pratica o mandarim em um ambiente de restaurante virtual usando a tecnologia IBM Watson. (Crédito de imagem: IBM Research / RPI )

Uma ponte entre a indústria tecnológica e a academia

A IBM e o RPI são capazes de construir uma ponte entre pesquisadores e professores da IBM, com a IBM incorporando um pesquisador no campus, a saber, Su. Enquanto isso, Zhou, professor da turma da RPI, também fornece feedback aos designers, usuários e professores sobre como melhorar a experiência imersiva na sala de aula.

"Eu preciso dar um feedback imediato para depuração ou melhorar o design, para que possamos oferecer uma sala de aula mais natural para os alunos", disse Zhou. "Portanto, há muito trabalho envolvido, mas vale a pena."

O futuro do aprendizado de idiomas

• O melhor software de aprendizado de idiomas para 2019 O melhor software de aprendizado de idiomas para 2019
• IBM lança o Watson AI Tools pré-treinado em vários setores IBM lança o Watson AI Tools pré-treinado em vários setores
• A IA realmente fala nosso idioma? A IA realmente fala nosso idioma?

Esse tipo de ambiente imersivo é valioso devido à capacidade de fornecer um ambiente aparentemente real, de acordo com Zhou. "O ambiente imersivo da IA ​​pode não apenas melhorar a fala e a audição dos alunos, mas também a pragmática do uso dessa linguagem em situações da vida real", disse Zhou. "É por isso que a IA é mais ideal para mim como instrutor, para que os alunos possam ter uma noção do uso do idioma desde o início, mesmo para alunos iniciantes, sem viajar para o país".

Ambientes de aprendizagem multimodais, como os oferecidos no RPI, expandirão o papel da IA ​​na sala de aula. Com a experiência que a IA fornece através dos agentes virtuais, os alunos estarão preparados para enfrentar vários cenários no mundo real com as habilidades linguísticas necessárias.