| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 1.86 MB | Adobe PDF |
Authors
Abstract(s)
Remote sensing is the process of detecting and monitoring the physical characteristics of
an area by measuring it’s reflected and emitted radiation at a distance. It is being broadly
used to monitor ecosystems, mainly for their preservation. There have been evergrowing
reports of invasive species affecting the natural balance of ecosystems. Exotic invasive
species have a critical impact when introduced into new ecosystems and may lead to the
extinction of native species. In this study, we focus on Ludwigia peploides, considered
by the European Union as an aquatic invasive species. Its presence can have negative impacts on the surrounding ecosystem and human activities such as agriculture, fishing, and
navigation. Our goal was to develop a method to identify the presence of the species. To
achieve this, we used images collected by a dronemounted multispectral sensor. Due to
the lack of publicly available data sets containing Ludwigia peploides, we had to create our
own data set. We started by carefully studying all the available options. We first experimented with satellite images, but it was impossible to identify the targeted species due to
their low resolution. Thus, we decided to use a dronemounted multispectral sensor. Unfortunately, due to budget limitations, we could not acquire the highly specialized types
of equipment that is more commonly used in remote sensing. However, we were confident that our setup would be enough to extract the species’ spectral signature, and that
the higher resolution compared to satellites would allow us to use deep learning models
to identify the species.
The use of the drone allowed for better operational flexibility and to cover a large area.
The multispectral sensor allowed us to leverage the information of two additional bands
outside the visible spectrum. After visiting the study site multiple times and capturing
data at various times of the day, we created a representative data set with different atmospheric conditions. After the data collection, we proceeded to the preprocessing and
annotation steps to have a usable data set. In later stages, we proved that extracting the
specie’s spectral signature from our data set is possible. This was a significant conclusion,
as it proved that it is indeed possible to differentiate the species’ spectral signature with
equipment that is not as advanced and specialized as the ones used in other studies.
After having a data set, we focused on the next step, which was to develop and validate
a method that would be able to identify Ludwigia p on our data. We decided on using
semantic segmentation models to identify the species. Given that we only have two additional bands compared to traditional RGB images, we could not approach the problem as a
standard remote sensing spectroscopy problem. By using semantic segmentation models,
we can leverage both the capabilities of these models to recognize objects and the multispectral nature of our data. Fundamentally, the model has the same behavior as usual but
has access to the information of two additional bands.We started by using an existing stateoftheart semantic segmentation model adapted to
handle our data. After doing some initial tests and establishing a baseline, we proposed
and implemented some changes to the existing model. The goal of the modifications was
to create a model with lower training times and better performance in detecting Ludwigia
p. at high altitudes. The result is a new model better suited to our data and application.
Our model is faster when it comes to training time while maintaining similar performance
and has a slight performance increase in highaltitude images.
O sensoriamento remoto é o processo de detetar e monitorizar as características físicas de uma área, medindo à distância a sua radiação refletida e emitida. É amplamente utilizado para monitorizar ecossistemas, principalmente tendo em vista a sua preservação. Há cada vez mais casos de espécies invasoras que afetam o equilíbrio natural dos ecossistemas. As espécies exóticas invasoras têm um impacto crítico quando introduzidas em novos ecossistemas e podem levar à extinção de espécies nativas. Neste estudo, focamonos na Ludwigia peploides, considerada pela União Europeia como uma espécie aquática invasora. A sua presença pode ter impactos negativos no ecossistema circundante e nas atividades humanas, como agricultura, pesca e navegação. O nosso objetivo foi desenvolver um método para identificar a presença da espécie. Para isso, usámos imagens capturadas por um sensor multiespectral montado num drone. Devido à falta de conjuntos de dados disponíveis publicamente contendo Ludwigia peploides, tivemos que criar nosso próprio conjunto de dados. Começámos por cuidadosamente estudar todas as opções disponíveis. Primeiro fizemos experiências com imagens de satélite, mas foi impossível identificar a espéciealvo devido à baixa resolução das imagens. Assim, decidimos usar um sensor multiespectral montado num drone. Infelizmente, devido a limitações orçamentais, não conseguimos adquirir os tipos de equipamentos altamente especializados que são tipicamente usados em sensoriamento remoto. No entanto, estávamos confiantes de que nossa configuração seria suficiente para extrair a assinatura espectral da espécie, e que a alta resolução das nossas imagens comparadas com de satélite, nos permitiria usar modelos de aprendizagem profunda para identificar as espécies. O uso do drone permitiu uma maior flexibilidade operacional e cobertura de uma grande área. O sensor multiespectral permitiunos alavancar as informações de duas bandas adicionais fora do espectro visível. Depois de visitar o local de estudo várias vezes e capturar dados em vários momentos do dia, criámos um conjunto de dados representativo com diferentes condições atmosféricas. Após a captura de dados, procedeuse às etapas de préprocessamento e anotação para ter um conjunto de dados utilizável. Em etapas posteriores, provámos que é possível extrair dos nossos dados a assinatura espectral da espécie. Esta foi uma conclusão significativa, pois comprovou que de fato é possível diferenciar a assinatura espectral da espécie com equipamentos não tão avançados e especializados quanto os utilizados noutros estudos. Depois de termos um conjunto de dados, focamonos no próximo passo, que foi desenvolver e validar um método que fosse capaz de identificar Ludwigia p. nos nossos dados. Decidimos usar modelos de segmentação semântica para identificar as espécies. Dado que temos apenas duas bandas adicionais em comparação com as imagens RGB tradicionais, não poderíamos abordar o problema como um problema de espectroscopia de sensoriamento remoto padrão. Ao usar modelos de segmentação semântica, podemos aproveitar não só os recursos desses modelos para reconhecer objetos, mas também a natureza multiespectral de nossos dados. Fundamentalmente, o modelo tem o mesmo comportamento usual, mas tem acesso às informações de duas bandas adicionais. Começamos por usar um modelo de segmentação semântica estadodaarte existente, que foi adaptado para lidar com nossos dados. Depois de fazer alguns testes iniciais e estabelecer uma base de comparação, propusemos e implementámos algumas modificações ao modelo existente. O objetivo das modificações foi criar um modelo com menores tempos de treino e melhor desempenho na deteção de Ludwigia p. em altitudes elevadas. O resultado é um novo modelo mais adequado aos nossos dados e aplicação. O nosso modelo é mais rápido no que diz respeito ao tempo de treino, mantendo desempenho semelhante, apresentando mesmo um ligeiro aumento de desempenho em imagens de alta altitude.
O sensoriamento remoto é o processo de detetar e monitorizar as características físicas de uma área, medindo à distância a sua radiação refletida e emitida. É amplamente utilizado para monitorizar ecossistemas, principalmente tendo em vista a sua preservação. Há cada vez mais casos de espécies invasoras que afetam o equilíbrio natural dos ecossistemas. As espécies exóticas invasoras têm um impacto crítico quando introduzidas em novos ecossistemas e podem levar à extinção de espécies nativas. Neste estudo, focamonos na Ludwigia peploides, considerada pela União Europeia como uma espécie aquática invasora. A sua presença pode ter impactos negativos no ecossistema circundante e nas atividades humanas, como agricultura, pesca e navegação. O nosso objetivo foi desenvolver um método para identificar a presença da espécie. Para isso, usámos imagens capturadas por um sensor multiespectral montado num drone. Devido à falta de conjuntos de dados disponíveis publicamente contendo Ludwigia peploides, tivemos que criar nosso próprio conjunto de dados. Começámos por cuidadosamente estudar todas as opções disponíveis. Primeiro fizemos experiências com imagens de satélite, mas foi impossível identificar a espéciealvo devido à baixa resolução das imagens. Assim, decidimos usar um sensor multiespectral montado num drone. Infelizmente, devido a limitações orçamentais, não conseguimos adquirir os tipos de equipamentos altamente especializados que são tipicamente usados em sensoriamento remoto. No entanto, estávamos confiantes de que nossa configuração seria suficiente para extrair a assinatura espectral da espécie, e que a alta resolução das nossas imagens comparadas com de satélite, nos permitiria usar modelos de aprendizagem profunda para identificar as espécies. O uso do drone permitiu uma maior flexibilidade operacional e cobertura de uma grande área. O sensor multiespectral permitiunos alavancar as informações de duas bandas adicionais fora do espectro visível. Depois de visitar o local de estudo várias vezes e capturar dados em vários momentos do dia, criámos um conjunto de dados representativo com diferentes condições atmosféricas. Após a captura de dados, procedeuse às etapas de préprocessamento e anotação para ter um conjunto de dados utilizável. Em etapas posteriores, provámos que é possível extrair dos nossos dados a assinatura espectral da espécie. Esta foi uma conclusão significativa, pois comprovou que de fato é possível diferenciar a assinatura espectral da espécie com equipamentos não tão avançados e especializados quanto os utilizados noutros estudos. Depois de termos um conjunto de dados, focamonos no próximo passo, que foi desenvolver e validar um método que fosse capaz de identificar Ludwigia p. nos nossos dados. Decidimos usar modelos de segmentação semântica para identificar as espécies. Dado que temos apenas duas bandas adicionais em comparação com as imagens RGB tradicionais, não poderíamos abordar o problema como um problema de espectroscopia de sensoriamento remoto padrão. Ao usar modelos de segmentação semântica, podemos aproveitar não só os recursos desses modelos para reconhecer objetos, mas também a natureza multiespectral de nossos dados. Fundamentalmente, o modelo tem o mesmo comportamento usual, mas tem acesso às informações de duas bandas adicionais. Começamos por usar um modelo de segmentação semântica estadodaarte existente, que foi adaptado para lidar com nossos dados. Depois de fazer alguns testes iniciais e estabelecer uma base de comparação, propusemos e implementámos algumas modificações ao modelo existente. O objetivo das modificações foi criar um modelo com menores tempos de treino e melhor desempenho na deteção de Ludwigia p. em altitudes elevadas. O resultado é um novo modelo mais adequado aos nossos dados e aplicação. O nosso modelo é mais rápido no que diz respeito ao tempo de treino, mantendo desempenho semelhante, apresentando mesmo um ligeiro aumento de desempenho em imagens de alta altitude.
Description
Keywords
Assinatura Espectral Espécies Invasoras Alienígenas Inteligência Artificial Ludwigia Peploides Satélite Segmentação Semântica Sensor Multiespectral Montado em Drone Sensoriamento Remoto