Casos e Vozes
Melhorando a preservação de dados gerados em diferentes pontos geográficos
Por meio do Estudo de Caso - LiMoNet (Lightning Monitoring Network), saiba como o MiLab, a plataforma como serviço implantado para apoiar o gerenciamento de dados, a preservação da história digital e o trabalho colaborativo de grupos de pesquisa associados à RedCLARA apoia o LiMoNet desafio de preservação de dados.
O que tempestades elétricas e partículas que chegam do espaço têm a ver umas com as outras?
Os raios cósmicos são partículas de alta energia oriundas do espaço sideral que bombardeiam constantemente a Terra. Por serem pouco comuns, estudá-los requer detectores de partículas que, devido à sua alta sensibilidade, podem gerar resultados anômalos na presença de fenômenos atmosféricos como descargas elétricas.
A Rede de Monitoramento de Raios LiMoNet (Lightning Monitoring Network) é um protótipo para detectar e registrar esses eventos (relâmpagos) que podem causar anomalias nos detectores.
Esta rede foi desenvolvida no grupo Halley da Universidad Industrial de Santander (UIS, Colômbia) no âmbito de seu vínculo como membro associado do Observatório Pierre Auge, que detecta, entre outros, eventos ópticos de grande escala que ocorrem na alta atmosfera e são usados pelo LiMoNet para correlacionar com episódios de trovoadas.
O desafio da preservação de dados
Por se tratar de um projeto de coleta de dados de diferentes fontes e que devem então ser correlacionados de forma centralizada, o LiMoNet exigiu um mecanismo adequado para automatizar e garantir a preservação dos arquivos de dados gerados a partir das estações da rede, que são distribuídos em diferentes pontos geográficos. Esses arquivos devem ser mantidos disponíveis, seguros e completos para posterior análise pela equipe de trabalho.
A solução
Para encarar o desafio de preservar mais de 5.800 arquivos agregados em 187 conjuntos de dados, a plataforma MiLab está sendo utilizada. O MiLab permitiu não somente a preservação da informação, mas também a execução das análises de calibração das estações, objetivo alcançado por meio da utilização dos diferentes serviços da plataforma: dataLab para a preservação de dados num ambiente seguro e acessível a todos os investigadores, G-Lab para a gestão colaborativa de códigos ou scripts que foram desenvolvidos ou evoluídos dentro do grupo de trabalho, chatLab para facilitar a comunicação entre a equipe e compLab para realizar análises computacionais de forma eficiente.
Impacto e resultados
- Foi estabelecida uma metodologia para a preservação dos conjuntos de dados de forma automatizada desde as estações até o serviço dataLab, garantindo sua preservação e facilitando sua utilização pelo grupo de pesquisa.
• O grupo passou a contar com um ambiente de criação de software para gerenciar os códigos computacionais utilizados nas análises. Esse ambiente, além de preservar o conteúdo, facilita o trabalho colaborativo de pessoas em diferentes localizações geográficas.
• Um ambiente computacional amigável foi criado para realizar análises de calibração da rede de estações LiMoNet.
Sobre MiLab
O MiLab é a plataforma como serviço desenvolvida para apoiar o gerenciamento de dados, a preservação da história digital e o trabalho colaborativo de grupos de pesquisa associados à RedCLARA. Atualmente, o MiLab está sendo utilizado por mais de 10 grupos multinacionais da região graças à gestão colaborativa das Redes Nacionais de Pesquisa e Educação e faz uso do serviço de infraestrutura em nuvem da CEDIA (rede acadêmica equatoriana), que permite a utilização da rede de alta velocidade que conecta as instituições de pesquisa e ensino na América Latina. Mais informação em https://milab.redclara.net/docs.
Sobre o Observatório Pierre Auger
O Observatório Pierre Auger está localizado na vasta planície conhecida como Pampa Amarilla, no oeste da Argentina. Ele estuda as partículas de maior energia do Universo, que atingem a Terra de todas as direções, os chamados raios cósmicos. Raios cósmicos com energias baixas a moderadas são bem conhecidos, enquanto aqueles com energias extremamente altas permanecem altamente misteriosos. Ao detectar e estudar essas partículas raras, o Observatório Pierre Auger está resolvendo os enigmas de sua origem e existência. Mais informação em https://www.auger.org/.
Sobre Halley
O Grupo Halley, da Universidad Industrial de Santander - parte de RENATA, a rede acadêmica colombiana - é um Centro de Ciências para a difusão do conhecimento científico que tem a Astronomia como eixo central. Seu trabalho tem alcance em diferentes cenários, desde as instituições de educação em todos os níveis até a comunidade em geral. O Grupo Halley lidera a promoção da Astronomia por meio de projetos de extensão, divulgação e pesquisa de astronomia e ciências aeroespaciais no nordeste da Colômbia. Mais informação em https://halley.uis.edu.co/.
As soluções técnicas em profundidade
- Foi criado um canal para discussões online no espaço chatLab do grupo Halley.
- Foi criado um grupo no serviço G-Lab para a preservação de códigos computacionais e documentação de rede. As funções de usuário para o grupo de trabalho também foram atribuídas.
- Foram adicionados projetos no G-Lab para realizar análise de calibração, ingestão de dados para o serviço dataLab e documentação de rede. Estes podem ser consultados em https://gitmilab.redclara.net/halleyUIS/limonet.
- Os conjuntos de dados foram adicionados ao serviço dataLab usando a API dataverse; estes podem ser consultados em https://dataverse.redclara.net/dataverse/limonet. O script usado para o processo de ingestão se encontra em https://gitmilab.redclara.net/halleyUIS/limonet/gestion-de-datos. Além da ingestão, é responsável pela catalogação dos conjuntos de dados com os metadados gerados a partir das estações.
- O serviço de computação compLab foi utilizado para as análises de calibração das estações da rede; o notebook utilizado pode ser encontrado em https://gitmilab.redclara.net/halleyUIS/limonet/analisis-de-datos. Neste serviço foram utilizadas as características de integração entre os serviços do MiLab, especificamente:
- O API do dataverse para acessar os conjuntos de dados do ambiente de computação.
- O plugin jupyterlab-git foi usado para acessar e preservar novas versões dos códigos de análise hospedados no serviço G-Lab.
