Por favor, use este identificador para citar o enlazar este ítem: https://repositorio.unipampa.edu.br/jspui/handle/riu/1612
Tipo: Trabalho de Conclusão de Curso
Título : Tradução automática de línguas de sinais: do sinal para a escrita
Autor(es): Barros Junior, Jorge Daniel
Primeiro Orientador: Thielo, Marcelo Resende
Resumo: O reconhecimento automático de sinais de uma Língua de Sinais (LS) por um computador ainda é um grande desafio. Até o momento, não existia uma conversão automática de sinais para a Escrita de Línguas de Sinais (ELS) na notação em SignWriting (SW). Esses fatores foram os que motivaram o desenvolvimento deste trabalho a fim de encontrar uma solução para esse problema que ainda não havia sido solucionado na literatura. Dessa forma, neste trabalho fizemos o reconhecimento de sinais em imagens de uma LS e convertemos para a escrita de sinais em SW. Mais precisamente, nos concentramos no parâmetro de configuração de mão, que é importante para definir o formato que a mão irá assumir durante a execução de um sinal. Para isso, utilizamos Redes Neurais Artificiais do tipo Convolutional Neural Network (CNN) que é um modelo de aprendizado de máquina que nos possibilitou fazer o reconhecimento dos sinais. Para fazer a captura das imagens, utilizamos o sensor de movimentos Kinect em conjunto com uma aplicação desenvolvida que faz o preprocessamento das imagens. Fizemos o treinamento da CNN com 16 configurações de mão diferentes e obtivemos uma acurácia satisfatória de 87.5%.
Resumen : Automatic recognition of signs of a Sign Language by a computer is still a challenge. So far, there is no automatic conversion signals for sign language written in the notation in SignWriting (SW). These factors were that motivated the development of this work in order to find a solution to this problem that had not been solved in the literature. Thus, in this work we recognized language signals in images and converted them into written signals known as SW. More precisely, we focused on the parameter of hand shape, which is important to define the hand shape that the hand will assume during the execution of a signal. For this, we trained Convolutional Neural Network (CNN) that is a mechanism of Machine Learning (ML) which provided the signal recognition. To capture images, we used the Kinect motion sensor together with an developed application that does the preprocessing of the images. We did training the CNN with 16 different hand shapes and have achieved the average accuracy of 87.5%.
Palabras clave : Computer science
ELiS (Sign Language writing)
SignWriting
Machine learning
Neural networks
Editorial : Universidade Federal do Pampa
Tipo de acesso: Attribution-NonCommercial-NoDerivs 3.0 Brazil
Licença: http://creativecommons.org/licenses/by-nc-nd/3.0/br/
URI : http://dspace.unipampa.edu.br/jspui/handle/riu/1612
Fecha de publicación : 22-jun-2016
Aparece en las colecciones: Ciência da Computação

Ficheros en este ítem:
Fichero Descripción Tamaño Formato  
Tradução automática de línguas de sinais do sinal para a escrita.pdf10.64 MBAdobe PDFVisualizar/Abrir


Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons Creative Commons