Casos y Voces
Mejorando la preservación de datos generados en diferentes puntos geográficos
Mediante el Estudio de Caso - LiMoNet (Lightning Monitoring Network), aprenda cómo MiLab, la plataforma como servicio desplegada para apoyar la gestión de datos, la preservación de la historia digital y el trabajo colaborativo de grupos de investigación asociados a RedCLARA, apoya en el reto de la preservación de datos de LiMoNet.
¿Qué tienen que ver las tormentas eléctricas y las partículas que llegan desde el espacio?
Los rayos cósmicos son partículas de elevada energía procedentes del espacio exterior y que bombardean constantemente la Tierra. Debido a que no son muy comunes, estudiarlos requiere contar con detectores de partículas que, por su alta sensibilidad, pueden generar resultados anómalos ante la presencia de fenómenos atmosféricos como las descargas eléctricas.
La red de vigilancia de rayos LiMoNet (Lightning Monitoring Network) es un prototipo para detectar y registrar estos eventos (rayos) que pueden causar anomalías en los detectores.
Esta red se desarrolló en el grupo Halley de la Universidad Industrial de Santander (UIS, Colombia) en el marco de su vinculación como miembro asociado al Observatorio Pierre Auger, observatorio que detecta, entre otros, eventos ópticos a gran escala que ocurren en la alta atmósfera y que son usados por LiMoNet para ser correlacionados con los episodios de tormentas eléctricas.
El reto de la preservación de datos
Al tratarse de un proyecto de recolección de datos desde diferentes fuentes y que luego deben ser correlacionados centralizadamente, LiMoNet requería de un mecanismo adecuado para automatizar y asegurar la preservación de los archivos de datos generados desde las estaciones de la red, las cuales se distribuyen en diferentes puntos geográficos. Estos archivos deben ser mantenidos disponibles, seguros e íntegros para su posterior análisis por el equipo de trabajo.
La solución
Para afrontar el reto de la preservación de más de 5800 archivos agregados en 187 datasets, se está utilizando la plataforma MiLab. MiLab ha permitido no solo la preservación de información sino también la ejecución de los análisis de calibración de las estaciones, lo que se logró al utilizar los diferentes servicios de la plataforma: dataLab para la preservación de datos en un entorno seguro y accesible para todos los investigadores, G-Lab para la gestión colaborativa de códigos o scripts que se desarrollaban o evolucionaban al interior del grupo de trabajo, chatLab para facilitar las comunicaciones entre el equipo y compLab para realizar de forma eficiente los análisis computacionales.
Impacto y logros
- Se estableció una metodología para la preservación de los conjuntos de datos de manera automatizada desde las estaciones al servicio dataLab, de esta manera se garantiza su preservación y se facilita el uso por parte del grupo de investigación.
- El grupo cuenta ahora con un entorno de creación de software para gestionar los códigos computacionales usados en los análisis. Este entorno, además de preservar los contenidos, facilita el trabajo colaborativo de personas en distintos puntos geográficos.
- Se creó un entorno informático de fácil uso para realizar los análisis de calibración de la red de estaciones LiMoNet.
Sobre MiLab
MiLab es la plataforma como servicio desplegada para apoyar la gestión de datos, la preservación de la historia digital y el trabajo colaborativo de grupos de investigación asociados a RedCLARA. Actualmente MiLab está siendo utilizado por más de 10 grupos multinacionales de la región gracias a la gestión colaborativa de las Redes Nacionales de Investigación y Educación y hace uso del servicio de infraestructura en la nube de CEDIA (red académica ecuatoriana), lo que permite utilizar la red de alta velocidad que conecta a las instituciones de investigación y educación en Latinoamérica. Más info: https://milab.redclara.net/docs.
Sobre el Observatorio Pierre Auger
El Observatorio Pierre Auger está ubicado en la vasta llanura conocida como la Pampa Amarilla en el oeste de Argentina. Estudia las partículas de mayor energía del Universo, que golpean la Tierra desde todas las direcciones, los llamados rayos cósmicos. Los rayos cósmicos con energías bajas a moderadas son bien conocidos, mientras que aquellos con energías extremadamente altas siguen siendo muy misteriosos. Al detectar y estudiar estas partículas raras, el Observatorio Pierre Auger está abordando los enigmas de su origen y existencia. Más info: https://www.auger.org/.
Sobre Halley
El Grupo Halley, de la Universidad Industrial de Santander, que hace parte de RENATA, la red académica de Colombia, es un Centro de Ciencia para la difusión del conocimiento científico que toma como eje central la Astronomía, cuya labor tiene alcance en diferentes escenarios, desde las instituciones educativas en todos sus niveles hasta la comunidad en general. Hoy en día lidera la promoción de la Astronomía a través de proyectos de extensión, divulgación e investigación de la astronomía y ciencias aeroespaciales en el nororiente de este país cafetero. Más info: https://halley.uis.edu.co/.
Las soluciones técnicas en más profundidad
- Se creó un canal para las discusiones entorno a la red en el espacio chatLab del grupo Halley.
- Se creó un grupo en el servicio G-Lab para la preservación de códigos computacionales y la documentación de la red. Se asignaron también los roles de usuario para el grupo de trabajo.
- Se agregaron proyectos en G-Lab para realizar los análisis de calibración, la ingesta de datos al servicio dataLab y la documentación de la red. Estos pueden ser consultados en https://gitmilab.redclara.net/halleyUIS/limonet
- Se agregaron conjuntos de datos al servicio dataLab usando el API dataverse, estos pueden ser consultados en https://dataverse.redclara.net/dataverse/limonet. El script usado para el proceso de ingestión se encuentra en https://gitmilab.redclara.net/halleyUIS/limonet/gestion-de-datos.Además de la ingestión, éste se encarga de catalogar los conjuntos de datos con los metadatos generados desde las estaciones.
- Se usó el servicio de cómputo compLab para los análisis de calibración de las estaciones de la red, el notebook usado se encuentra en https://gitmilab.redclara.net/halleyUIS/limonet/analisis-de-datos. En este servicio se utilizaron las características de integración entre los servicios MiLab, puntualmente se usó:
- El API dataverse para acceder a los conjuntos de datos desde el entorno de cómputo.
- Se uso el plugin jupyterlab-git para acceder y preservar nuevas versiones de los códigos de análisis alojados en el servicio G-Lab.
