A carregar...
Publicação
Optimization of GNSS Data Archival and Exchange using TileDB
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 4.67 MB | Adobe PDF |
Orientador(es)
Resumo(s)
The growing volume of GNSS data presents significant challenges in its storage, processing, and interoperability, particularly due to the inefficiencies of the RINEX format, which, while widely used, struggles to handle large datasets and is not optimized for cloud environments. This dissertation explores the potential of array-based databases, particularly TileDB, as a modern solution to optimize GNSS data management. A central contribution of this work is the development of two applications: raw2rin and tiledb_manager, which facilitate the conversion of files of proprietary GNSS receiver formats to RINEX and TileDB formats, supporting bidirectional translation between the latter, parameter adjustment, metadata corrections, and efficient data storage and querying. The dissertation also includes an evaluation of TileDB’s performance, focusing on the effects of different data granularities and fragmentation. The tests conducted point to a worse read performance for both higher data retrieved, and higher fragment numbers.
O crescente volume de dados GNSS apresenta desafios significativos no seu armazenamento, processamento e interoperabilidade, especialmente devido às ineficiências do formato RINEX, que, embora amplamente utilizado, tem dificuldades em lidar com grandes volumes de dados e não é otimizado para ambientes em cloud. Esta dissertação explora o potencial das bases de dados baseadas em arrays, em particular o TileDB, como uma solução moderna para otimizar a gestão de dados GNSS. Uma contribuição central deste trabalho é o desenvolvimento de duas aplicações: raw2rin e tiledb_manager, que facilitam a conversão de ficheiros em formatos proprietários de recetores GNSS para os formatos RINEX e TileDB, apoiando a tradução bidirecional entre os últimos, oferecendo ajuste de parâmetros, correções de metadados, e o armazenamento e consulta eficientes de dados. A dissertação também inclui uma avaliação do desempenho do TileDB, focando-se nos efeitos de diferentes granularidades de dados e fragmentação. Os testes realizados apontam para que o desempenho de leitura poderá ser prejudicado à medida que a quantidade de dados e fragmentos aumentam.
O crescente volume de dados GNSS apresenta desafios significativos no seu armazenamento, processamento e interoperabilidade, especialmente devido às ineficiências do formato RINEX, que, embora amplamente utilizado, tem dificuldades em lidar com grandes volumes de dados e não é otimizado para ambientes em cloud. Esta dissertação explora o potencial das bases de dados baseadas em arrays, em particular o TileDB, como uma solução moderna para otimizar a gestão de dados GNSS. Uma contribuição central deste trabalho é o desenvolvimento de duas aplicações: raw2rin e tiledb_manager, que facilitam a conversão de ficheiros em formatos proprietários de recetores GNSS para os formatos RINEX e TileDB, apoiando a tradução bidirecional entre os últimos, oferecendo ajuste de parâmetros, correções de metadados, e o armazenamento e consulta eficientes de dados. A dissertação também inclui uma avaliação do desempenho do TileDB, focando-se nos efeitos de diferentes granularidades de dados e fragmentação. Os testes realizados apontam para que o desempenho de leitura poderá ser prejudicado à medida que a quantidade de dados e fragmentos aumentam.
Descrição
Palavras-chave
TileDB GNSS RINEX Armazenamento de Dados Armazenamento pronto para análise e otimizado para a cloud Arquivo de Dados Intercâmbio de Dados Data Storage Analysis-Ready and Cloud-Optimized Storage Data Archiving Data Exchanging