Loading...
Publication
Portable, multi-task, on-the-edge and low-cost computer vision framework based on deep learning: Precision agriculture application
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 26.46 MB | Adobe PDF |
Authors
Abstract(s)
Precision agriculture is a new concept that has been introduced worldwide to increase production, reduce labor and ensure efficient management of fertilizers and irrigation processes. Computer vision is an essential component of precision agriculture and plays an important role in many agricultural tasks. It serves as a perceptual tool for the mechanical interface between robots and environments or sensed objects, as well as for many other tasks such as crop yield prediction. Another important consideration is that some vision applications must run on edge devices, which typically have very limited processing power and memory. Therefore, the computer vision models that are to run on edge devices must be optimized to achieve good performance. Due to the significant impact of Deep Learning and the advent of mobile devices with accelerators, there has been increased research in recent years on computer vision for general purpose applications that have the potential to increase the efficiency of precision agriculture tasks. This thesis explore how deep learning models running on edge devices are affected by optimizations, i.e., inference accuracy and inference time. Lightweight models for weed segmentation, peach fruit detection, and fruit disease classification are cases of studies. First, a case study of peach fruit detection with the well-known Faster R-CNN object detector using the breakthrough AlexNet Convolutional Neural Network (CNN) as the image feature extractor is performed. A detection accuracy of 0.90 was achieved using metric Average Precision (AP). The breakthrough AlexNet CNN is not an optimized model for use in mobile devices. To explore a lightweight model, a case study of peach fruit disease classification is next conducted using the MobineNet CNN. The MobileNet was trained on a small dataset of images of healthy, rotten, mouldy, and scabby peach fruit and achieved a performance of 0.96 F1. Lessons learned from this work led to using this model as a baseline CNN for other computer vision applications (e.g., fruit detection and weed segmentation). Next, a study was conducted on robotic weed control using an automated herbicide spot sprayer. The DeepLab semantic segmentation model with the MobileNet backbone was used to segment weeds and determine spatial coordinates for the mechanism. The model was optimized and deployed on the Jetson Nano device and integrated with the robotic vehicle to evaluate real-time performance. An inference time of 0.04 s was achieved, and the results obtained in this work provide insight into how the performance of the semantic segmentation model of plants and weeds degrades when the model is adapted through optimization for operation on edge devices. Finally, to extend the application of lightweight deep learning models and the use of edge devices and accelerators, the Single Shot Detector (SSD) was trained to detect peach fruit in three different varieties and was deployed in a Raspberry Pi device with an integrated Tensor Unity Processor (TPU) accelerator. Some variations of MobileNet as a backbone were explored to investigate the tradeoff between accuracy and inference time. MobileNetV1 yielded the best inference time with 21.01 Frame Per Second (FPS), while MobileDet achieved the best detection accuracy (88.2% AP). In addition, an image dataset of three peach cultivars from Portugal was developed and published. This thesis aims to contribute to future steps in the development of precision agriculture and agricultural robotics, especially when computer vision needs to be processed on small devices.
A agricultura de precisão é um novo conceito que foi introduzido em todo o mundo para aumentar a produção, reduzir a mão de obra e garantir o gerenciamento eficiente de fertilizantes e processos de irrigação. A visão artificial é um componente essencial da agricultura de precisão e desempenha um papel importante em muitas tarefas agrícolas. Serve como uma ferramenta de perceção para a interface mecânica entre robôs e ambientes, bem como para muitas outras tarefas, como a previsão da colheita. Outra consideração importante é que algumas aplicações de visão artificial devem ser executadas em dispositivos móveis, que normalmente têm poder de processamento e memória muito limitados. Portanto, os modelos de visão artificial, que serão executados em dispositivos móveis, devem ser otimizados para obter um bom desempenho. Devido ao impacto significativo da aprendizagem profunda e ao desenvolvimento e crescente utlização de dispositivos móveis com aceleradores, houve um aumento da investigação nos últimos anos sobre visão artificial para aplicações de uso geral que têm o potencial de aumentar a eficiência das tarefas de agricultura de precisão. Esta tese explora como os modelos de aprendizagem profunda executados em dispositivos móveis são afetados por otimizações, ou seja, precisão e tempo de inferência. Neste trabalho, modelos de baixa complexidade computacional e requisitos de recursos para segmentação de infestantes, deteção de frutos de pêssegos e classificação de doenças em frutos são casos de estudos. Primeiro, é realizado um caso de estudo de deteção dos frutos de pêssegos com o conhecido detetor de objetos Faster R-CNN usando a Rede Neural Convolucional (CNN – Convolutional Neural Network) AlexNet para extração de caraterísticas de imagem. Uma precisão de deteção de 0,90 AP (AP – Average Precision) foi obtida. A rede AlexNet não é um modelo otimizado para uso em dispositivos móveis. Para explorar um modelo leve, um caso de estudo de classificação de doenças em pêssegos é conduzido usando a rede MobineNet. A rede MobileNet foi treinada em um pequeno conjunto de dados de imagens de pêssegos saudáveis, podres, com bolor, e com feridas e obteve um desempenho de F1 = 0,96. As lições aprendidas com este trabalho levaram ao uso deste modelo como base para outras aplicações de visão artificial (por exemplo, deteção de frutas e segmentação de infestantes. Em seguida, foi realizado um estudo sobre o controle robótico de infestantes usando um pulverizador automático de herbicida. O modelo de segmentação semântica DeepLab com a espinha dorsal MobileNet foi usado para segmentar as infestantes e determinar as coordenadas espaciais para o mecanismo. O modelo foi otimizado e implantado no dispositivo Jetson Nano e integrado ao veículo robótico para avaliar o desempenho em tempo real. Um tempo de inferência de 0,04 s foi alcançado e os resultados obtidos neste trabalho fornecem informações sobre como o desempenho do modelo de segmentação semântica de plantas e infestantes se degrada quando o modelo é adaptado por meio de otimização para operação em dispositivos móveis. Por fim, para ampliar a aplicação de modelos de baixa complexidade computacional e requisitos de recursos de aprendizagem profunda e o uso de dispositivos móveis suportado por acelerador, o modelo de deteção de objetos (SSD - Single Shot Detector) foi treinado para detetar três cultivares diferentes de pêssegos e foi implantado em um dispositivo Raspberry Pi com um acelerador integrado (TPU – Tensor Processing Unity). Algumas variações da rede MobileNet como espinha dorsal foram exploradas para investigar a compensação entre precisão e tempo de inferência. O MobileNetV1 apresentou o melhor tempo de inferência (21,01 FPS), enquanto o MobileDet obteve a melhor precisão de deteção (88,2% AP). Além disso, um conjunto de dados de imagens de três cultivares de pêssego de Portugal foi desenvolvido e disponibilizado. Esta tese visa contribuir para etapas futuras no desenvolvimento da agricultura de precisão e da robótica agrícola, especialmente quando a visão artificial precisa ser processada em pequenos dispositivos.
A agricultura de precisão é um novo conceito que foi introduzido em todo o mundo para aumentar a produção, reduzir a mão de obra e garantir o gerenciamento eficiente de fertilizantes e processos de irrigação. A visão artificial é um componente essencial da agricultura de precisão e desempenha um papel importante em muitas tarefas agrícolas. Serve como uma ferramenta de perceção para a interface mecânica entre robôs e ambientes, bem como para muitas outras tarefas, como a previsão da colheita. Outra consideração importante é que algumas aplicações de visão artificial devem ser executadas em dispositivos móveis, que normalmente têm poder de processamento e memória muito limitados. Portanto, os modelos de visão artificial, que serão executados em dispositivos móveis, devem ser otimizados para obter um bom desempenho. Devido ao impacto significativo da aprendizagem profunda e ao desenvolvimento e crescente utlização de dispositivos móveis com aceleradores, houve um aumento da investigação nos últimos anos sobre visão artificial para aplicações de uso geral que têm o potencial de aumentar a eficiência das tarefas de agricultura de precisão. Esta tese explora como os modelos de aprendizagem profunda executados em dispositivos móveis são afetados por otimizações, ou seja, precisão e tempo de inferência. Neste trabalho, modelos de baixa complexidade computacional e requisitos de recursos para segmentação de infestantes, deteção de frutos de pêssegos e classificação de doenças em frutos são casos de estudos. Primeiro, é realizado um caso de estudo de deteção dos frutos de pêssegos com o conhecido detetor de objetos Faster R-CNN usando a Rede Neural Convolucional (CNN – Convolutional Neural Network) AlexNet para extração de caraterísticas de imagem. Uma precisão de deteção de 0,90 AP (AP – Average Precision) foi obtida. A rede AlexNet não é um modelo otimizado para uso em dispositivos móveis. Para explorar um modelo leve, um caso de estudo de classificação de doenças em pêssegos é conduzido usando a rede MobineNet. A rede MobileNet foi treinada em um pequeno conjunto de dados de imagens de pêssegos saudáveis, podres, com bolor, e com feridas e obteve um desempenho de F1 = 0,96. As lições aprendidas com este trabalho levaram ao uso deste modelo como base para outras aplicações de visão artificial (por exemplo, deteção de frutas e segmentação de infestantes. Em seguida, foi realizado um estudo sobre o controle robótico de infestantes usando um pulverizador automático de herbicida. O modelo de segmentação semântica DeepLab com a espinha dorsal MobileNet foi usado para segmentar as infestantes e determinar as coordenadas espaciais para o mecanismo. O modelo foi otimizado e implantado no dispositivo Jetson Nano e integrado ao veículo robótico para avaliar o desempenho em tempo real. Um tempo de inferência de 0,04 s foi alcançado e os resultados obtidos neste trabalho fornecem informações sobre como o desempenho do modelo de segmentação semântica de plantas e infestantes se degrada quando o modelo é adaptado por meio de otimização para operação em dispositivos móveis. Por fim, para ampliar a aplicação de modelos de baixa complexidade computacional e requisitos de recursos de aprendizagem profunda e o uso de dispositivos móveis suportado por acelerador, o modelo de deteção de objetos (SSD - Single Shot Detector) foi treinado para detetar três cultivares diferentes de pêssegos e foi implantado em um dispositivo Raspberry Pi com um acelerador integrado (TPU – Tensor Processing Unity). Algumas variações da rede MobileNet como espinha dorsal foram exploradas para investigar a compensação entre precisão e tempo de inferência. O MobileNetV1 apresentou o melhor tempo de inferência (21,01 FPS), enquanto o MobileDet obteve a melhor precisão de deteção (88,2% AP). Além disso, um conjunto de dados de imagens de três cultivares de pêssego de Portugal foi desenvolvido e disponibilizado. Esta tese visa contribuir para etapas futuras no desenvolvimento da agricultura de precisão e da robótica agrícola, especialmente quando a visão artificial precisa ser processada em pequenos dispositivos.
Description
Keywords
Agricultura de precisão Aprendizagem profunda Visão Artificial Modelo leve Dispositivo Móvel Deteção de frutos Controlo robótico de infestantes Precision agriculture Robotic weed control