O idioma dos sinais é uma linguagem visual que é usada por pessoas surdas e idiotas como língua materna. Ao contrário dos padrões de som acústicamente transmitidos, o idioma dos sinais usa linguagem corporal
e comunicação manual para transmitir fluentemente os pensamentos de uma pessoa. É conseguido simultaneamente combinando formas de mão, orientação e movimento das mãos, braços ou
corpo e expressões faciais. Pode ser usado por uma pessoa que tem dificuldades em falar ou por uma pessoa que pode ouvir, mas que não pode falar e pessoas normais para se comunicar com pessoas com deficiência auditiva. No que diz respeito a uma pessoa surda, ter acesso a uma linguagem gestual é muito importante para o crescimento social, emocional e linguístico. A linguagem de sinais deve ser reconhecida como a primeira língua de surdos e sua educação pode ser
prosseguiram bilíngües na língua nacional de sinais, bem como na língua nacional escrita ou falada.
A linguagem de sinais indianos é usada por pessoas surdas, tolas e com dificuldade de ouvir para a comunicação, mostrando sinais usando diferentes partes do corpo. Em todo o mundo lá
são diferentes comunidades de pessoas surdas e idiotas e, portanto, o idioma dessas comunidades será diferente. O Idioma de Sessão usado nos EUA é American Sign Language
(ASL); O idioma de sinais britânico (BSL) é usado na Grã-Bretanha; e Indian Sign Language (ISL) é usado na Índia para expressar pensamentos e comunicar uns com os outros. O “Indian Sign Language (ISL)” usa comunicação manual e linguagem corporal (comunicação não manual) para transmitir pensamentos, idéias ou sentimentos. Os sinais ISL podem geralmente ser classificados
em três aulas: sinais de mão, duas mãos e não-manuais. Sinais de duas mãos e sinais de duas mãos também são chamados de sinais manuais onde o signatário usa as mãos para
faça os sinais para transmitir a informação. Os sinais não-manuais são gerados alterando a postura corporal e as expressões faciais. Este sistema é para ajudar os deficientes auditivos
as pessoas na Índia interagem com outras pessoas ao traduzir o texto em inglês para o idioma de sinal.
Objetivos
1. Fornecer acesso e serviços de informações a pessoas surdas e idiotas em linguagem gestual indiana.
2. Desenvolver um projeto escalável que possa ser estendido para capturar todo o vocabulário da ISL através de sinais manuais e não manuales.
Especificações técnicas
Este projeto baseia-se na conversão dos sinais de áudio recebidos para o texto usando o texto para api de texto (módulos python ou google api) e, em seguida, usando a semântica do Processamento de Linguagem Natural para quebrar o texto em peças compreensíveis menores que exijam.
Aprendizado de máquinas como parte. Conjuntos de dados de linguagem de sinais predefinidos são utilizados como entrada para que o software possa usar Inteligência artificial para exibir o áudio convertido no sinal
língua.
AI (Inteligência Artificial) – É a teoria eo desenvolvimento de sistemas informáticos capazes de realizar tarefas normalmente exigindo inteligência humana, como percepção visual, reconhecimento de fala, tomada de decisão e tradução entre idiomas.
ML (Aprendizado de Máquinas) – O aprendizado de máquina é a ciência de fazer funcionar os computadores sem serem explicitamente programados. As Entradas são dadas como conjuntos de dados pelos quais o sistema aprende e tenta dar o melhor resultado possível ao usuário.
PNL (Processamento da linguagem natural) – É a aplicação de técnicas computacionais à análise e síntese de linguagem natural e fala.
Plataforma Usada:
Software implementado através do Python
Um aplicativo de desktop é implementado usando a linguagem de programação Python. Python
inclui bibliotecas como pyaudio para converter a fala para o texto.
– Python 2.7.x é preferido.
– Compilador de edição comunitária Pycharm.
– Sistema operacional – Ubuntu (Linux).
– conjuntos de dados ISL / ASL do google.
Metodologia
1. Entrada de áudio em um Assistente Digital Pessoal (PDA) usando o módulo python PyAudio.
2. Conversão de áudio para texto usando o Google Speech API.
3. Analisador de dependência para analisar a estrutura gramatical da oração e estabelecer relações entre palavras.
4. ISL Generator: ISL de sentença de entrada usando regras de gramática ISL.
5. Geração de linguagem gestual com assinatura Avatar.
Âmbito futuro
1. Uma vez que as pessoas idiotas geralmente são privadas de uma comunicação normal com outras pessoas, eles precisam confiar em um intérprete ou em alguma comunicação visual. Agora, o intérprete não pode estar disponível sempre, então este projeto pode ajudar a eliminar a dependência do intérprete.
2. O sistema pode ser estendido para incorporar o conhecimento de expressões faciais e linguagem corporal também para que haja uma compreensão completa do contexto e do tom da fala de entrada.
3. Uma versão móvel e baseada na web da aplicação aumentará o alcance para mais pessoas.
4. Integração do sistema de reconhecimento de mão gestual usando visão por computador para estabelecer sistema de comunicação de 2 vias.
Este artigo é contribuído por Ankit Jain . Se você gosta de GeeksforGeeks e gostaria de contribuir, você também pode escrever um artigo usando contribution.geeksforgeeks.org ou envie seu artigo para contribuir@geeksforgeeks.org. Veja o artigo que aparece na página principal do GeeksforGeeks e ajude outros Geeks.