Publication
SeeMyHome: Sistema de Visão Computacional assente numa Aplicação Móvel destinada a pessoas invisuais
| datacite.subject.fos | Engenharia e Tecnologia::Engenharia Eletrotécnica, Eletrónica e Informática | por |
| dc.contributor.advisor | Fazendeiro, Paulo André Pais | |
| dc.contributor.author | Branco, João Pedro Afonso | |
| dc.date.accessioned | 2023-02-22T14:21:17Z | |
| dc.date.available | 2023-02-22T14:21:17Z | |
| dc.date.issued | 2022-11-29 | |
| dc.date.submitted | 2022-10-10 | |
| dc.description.abstract | A falta de visão é uma condição que geralmente impõe muitas barreiras e dificuldades na vida de uma pessoa. Uma simples tarefa como distinguir determinados objetos ou obter informação sobre o meio envolvente, acaba por representar uma grande adversidade. O principal objetivo deste trabalho é projetar uma solução proficiente e que seja capaz de oferecer apoio a pessoas com dificuldades moderadas de visão. A mesma traduzse na criação de um sistema de visão computacional, mais especificamente uma aplicação móvel capaz de identificar objetos presentes no ambiente que rodeia o utilizador. A primeira fase deste projeto de dissertação consistiu na realização de um estudo sistemático sobre o que atualmente está a ser desenvolvido ou já foi disponibilizado acerca de aplicações móveis destinadas a pessoas invisuais. Foi feito um levantamento de várias propostas de diversos autores, a fim de analisar as suas diferentes perspetivas de trabalho. Como resultado dessa análise, estabeleceramse alguns desafios e estratégias inovadoras que irão permitir desenvolver uma aplicação móvel capaz de dar resposta ao problema em estudo. A descrição da solução aqui reportada elenca todas as técnicas e procedimentos necessários para organizar o respetivo trabalho. Apresenta também os fundamentos de uma abordagem conexionista genérica aplicada ao reconhecimento de objetos. Numa segunda e última fase procedeuse à construção do sistema proposto para esta dissertação. Construise uma aplicação móvel, denominada por SeeMyHome, que recorre às áreas da Visão Computacional e Inteligência Artificial para prestar apoio a pessoas invisuais, proporcionandolhes uma maior independência e uma melhor qualidade de vida. A nossa abordagem consistiu na construção de um sistema eficiente de deteção de objetos em tempo real, que procura replicar a função do olho humano por meio do processamento de imagens obtidas por um smartphone e de algoritmos capazes de reconhecer e identificar objetos nas mesmas. A solução aqui divulgada utiliza uma rede neuronal convolucional (CNN) para classificar imagens e tecnologia TextToSpeech para informar o utilizador invisual sobre tudo o que se encontra ao seu redor. SeeMyHome consegue destacarse das demais aplicações atualmente disponibilizadas e propostas, devido à adição de um novo recurso que concede a oportunidade de o utilizador, através de um assistente visual, poder adicionar qualquer objeto novo que deseje na aplicação. A Aprendizagem por Transferência e o Aumento de dados demonstraram que é possível treinar uma rede neuronal, que anteriormente aprendeu a detetar características relevantes num grande conjunto de dados de treino, para reconhecer novas classes de objetos num conjunto de dados reduzido, onde os resultados de precisão e de classificação atingem valores superiores aos métodos tradicionais. | por |
| dc.description.abstract | A visual impairment is a condition that usually imposes several barriers and difficulties in a person’s life. A simple task, such as distinguishing certain objects or obtaining information about their surroundings, ends up being very problematic. The main objective of this work is to design a proficient solution capable of offering support to people with moderate vision difficulties. This will be achieved through the creation of a computer vision system, more specifically a mobile application capable of identifying objects present in the environment that surrounds the user. The first phase of this dissertation project consisted in conducting a systematic study to identify what has already been made available and what is currently being developed in the area of mobile applications for visually impaired people. An initial research of several proposals from several authors was carried out in order to analyse their different work perspectives. As a result of this analysis, some challenges and innovative strategies were established, allowing for the development of a mobile application capable of answering to this problem. The solution description here reported contains all the techniques and procedures needed to organise this work. Finally, a connectionist approach applied to object recognition is presented. The second and final phase, the proposed system for this dissertation was constructed. A mobile application, called SeeMyHome, is built using Computer Vision and Artificial Intelligence to provide support to blind people, giving them greater independence and a better quality of life. Our approach was to build an efficient realtime object detection system that seeks to replicate the function of the human eye by processing images taken by a smartphone and algorithms capable of recognizing and identifying objects in them. The solution disclosed here uses a convolutional neural network (CNN) to classify images and Texttospeech technology to inform the blind user about everything around him. SeeMyHome manages to stand out from other applications currently available and proposed, due to the addition of a new feature that grants the user, through a visual assistant, the opportunity to add any new object they wish in the application.Transfer learning and Data Augmentation have shown that it is possible to train a neural network, which previously learned to detect relevant features on a large training dataset, to recognize new classes of objects on a small dataset, where the accuracy and classification results are higher than traditional methods. | eng |
| dc.identifier.tid | 203226194 | |
| dc.identifier.uri | http://hdl.handle.net/10400.6/13232 | |
| dc.language.iso | por | por |
| dc.subject | Aplicação Android | por |
| dc.subject | Pessoas Invisuais | por |
| dc.subject | Reconhecimento de Objetos | por |
| dc.subject | Rede Neural Convolucional | por |
| dc.subject | Rede Neuronal Artificial | por |
| dc.subject | Texttospeech | por |
| dc.subject | Visão Computacional | por |
| dc.title | SeeMyHome: Sistema de Visão Computacional assente numa Aplicação Móvel destinada a pessoas invisuais | por |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | por |
| rcaap.type | masterThesis | por |
| thesis.degree.name | 2º Ciclo em Engenharia Informática | por |
Files
Original bundle
1 - 1 of 1
No Thumbnail Available
- Name:
- 9389_20098.pdf
- Size:
- 5.28 MB
- Format:
- Adobe Portable Document Format