Repository logo
 
No Thumbnail Available
Publication

A zero­shot learning method for recognizing objects using low­power devices

Use this identifier to reference this record.
Name:Description:Size:Format: 
8317_17873.pdf10.59 MBAdobe PDF Download

Abstract(s)

Zero­Shot Learning (ZSL) has been a subject of increasing interest due to its revolutionary paradigm that simulates human behavior in recognizing objects that have never seen before. The ZSL models must be capable of recognizing classes that do not appear during training, using only the provided textual descriptions of the unseen classes as an aid. Despite the vast benchmarking around the ZSL paradigm, few works have assessed the computational performance of the developed strategy regarding inference time. Furthermore, no work has evaluated the effects of using different CNN architectures, such as lightweight architectures, apart from the de facto standard ResNet101 architecture, and the feasibility of deploying zero­shot learning approaches in a real­world scenario, particularly when using low­power devices. Consequently, in this dissertation, we carried out an extensive benchmarking toward analyzing the impact of using lightweight CNN architectures on ZSL performance, allowing us to perceive how the ZSL methods perform in real­world scenarios, mainly when run in low­power devices. Our experimental results demonstrate that the impact on the ZSL accuracy is not significant when a lightweight architecture is adopted, indicating the effectiveness of such low­power devices in performing ZSL methods.
O Zero­Shot Learning (ZSL) tem sido uma área de interesse crescente devido ao seu paradigma revolucionário que visa simular o comportamento humano na tarefa de reconhecimento de objetos que nunca foram vistos anteriormente. Os modelos de ZSL devem ser capazes de reconhecer classes de objetos que nunca tenham sido vistos durante o treino do classificador, tendo apenas como auxílio para a previsão de classes desconhecidas, descrições textuais das mesmas. Apesar da vasta literatura existente em torno da temática do ZSL, são poucos os trabalhos que avaliam o desempenho computacional dos métodos desenvolvidos, no que diz respeito ao tempo dispendido na fase de inferência. Até à data, nenhum trabalho avaliou o impacto do uso de arquiteturas menos complexas e com menor custo computacional nos métodos de ZSL, para além da arquitetura padrão de facto ResNet101. Além do mais, a viabilidade de implementar os métodos de ZSL em aplicações do mundo real, particularmente fazendo uso de dispositivos de baixa capacidade computacional, ainda não foi estudada. Assim, esta dissertação faz a avaliação de diferentes métodos de ZSL no que respeita ao impacto do uso de arquiteturas menos complexas de redes neuronais convolucionais no desempenho geral dos métodos de ZSL. Desta forma, é possível ficar ciente do comportamento dos métodos de ZSL em cenários reais, principalmente quando implementados em dispositivos de baixa capacidade computacional. Os resultados obtidos demonstraram que o impacto no valor da precisão dos métodos de ZSL não é significativo quando são adotadas arquiteturas menos complexas para efeitos de extração de caraterísticas das imagens, sendo possível inferir que os métodos de ZSL são capazes de operar em tempo real em dispositivos de baixa capacidade computacional.

Description

Keywords

Dispositivos de Baixa Capacidade Computacional Modelos Generativos Zero­Shot Learning

Citation

Research Projects

Organizational Units

Journal Issue