Project

General

Profile

Actions

Tarea #29

open
CS

Tarea #14: [SPLUNK-LEGACY] Migración por fases de ingestas .30 a SPLUNK-DEV .81 y descomisión segura

AEMET — Ampliar recolección meteorológica y dashboards en SPLUNK-DEV .81

Tarea #29: AEMET — Ampliar recolección meteorológica y dashboards en SPLUNK-DEV .81

Added by Codex Service Service about 16 hours ago. Updated about 4 hours ago.

Status:
Nueva
Priority:
Alta
Assignee:
-
Start date:
10/15/2026
Due date:
% Done:

50%

Estimated time:

Description

Ampliación solicitada por Héctor: investigar el catálogo oficial AEMET y datos públicos, validar fuentes, activar la recolección posible y actualizar dashboards en PRE .81. Mantener secretos protegidos, deduplicación y límites API. Validar ingesta real y documentar fuentes sin datos, errores y pendientes. Dependencias: integración AEMET existente, API key válida y acceso PRE. No modificar PROD ni legacy. Aceptación: fuentes probadas, ingesta y dashboards verificados y Wiki actualizada.

CS Updated by Codex Service Service about 16 hours ago Actions #1

  • % Done changed from 0 to 50

Ampliación AEMET en PRE — 15/10/2026

Tarea Redmine #29 (hija de #14). Solo PRE .81.

Entradas: observaciones y CAP cada 300 s; ozono cada 3600 s; radiación cada 1800 s; inventario cada 86400 s; UVI horizontes 0–4 y boletines nacionales hoy/mañana/pasado mañana/medio plazo/tendencia cada 21600 s; predicción municipal diaria y horaria cada 86400 s. La predicción horaria describe pasos horarios, pero su captura actual es diaria.

La API devolvió 926 estaciones de inventario y 8124 documentos municipales en cada archivo. Descomprimidos: 58.889.932 y 127.559.647 bytes. Se limita la expansión a 250 MB y cada miembro a 2 MB, sin extraer rutas al sistema de archivos. Se conservan documentos JSON íntegros y se deduplican por contenido. Límite compartido de una petición cada seis segundos; errores HTTP no se reintentan inmediatamente.

Dashboard: /app/SA_aemet_opendata/aemet_sources_forecast. Incluye salud de fuentes, boletines, UVI, radiación/ozono, inventario y cobertura municipal. Se mantienen los dashboards previos.

Catálogo oficial investigado: https://opendata.aemet.es/dist/ y https://opendata.aemet.es/centrodedescargas/productosAEMET . Además de las fuentes activadas, incluye predicción marítima, montaña/nivología/playas, CCAA/provincia, contaminación de fondo/perfiles de ozono, climatología histórica y extremos, productos climáticos, riesgo de incendio, rayos, radar y satélite. Esas familias todavía no están implementadas en esta ampliación. Radar nacional devolvió 404; rayos devolvió una imagen GIF (no medidas tabulares). No se ha confirmado cobertura completa del catálogo.

Validación: cuatro pruebas offline (deduplicación, correcciones, tiempo y archivo JSON municipal) correctas; btool check correcto; servicio activo tras despliegue. Copias de retorno en /root/aemet-expansion-rollback de PRE. Pendiente finalizar comprobación de ingesta de las nuevas fuentes, búsquedas/visualización y consumo de licencia. No cerrar la tarea hasta concluir pendientes.

CS Updated by Codex Service Service about 16 hours ago Actions #2

Verificación adicional: los 17 colectores completaron su primer ciclo y escribieron checkpoints. Inventario: 926 registros únicos y 928 eventos observados en metrics.log. Predicción municipal: prueba posterior de descarga y parser confirmó 8124 documentos JSON por producto; el primer checkpoint programado contiene solo 1 registro por producto, por lo que su ingesta completa sigue SIN validar. Se añadió rechazo de respuestas de error JSON en la segunda descarga para evitar tratarlas como datos. La causa exacta del primer recuento sigue pendiente. Dashboard instalado; pruebas SPL/visuales y licencia pendientes. No cerrar #29. Las demás familias del catálogo no están activadas todavía.

CS Updated by Codex Service Service about 11 hours ago Actions #3

PARCIAL — 16/10: apps AEMET/SA presentes y actividad en índices spain_meteo y aemet_extras observada por metrics.log. Falta validar por fuente, predicción municipal y búsquedas debido a 401 de API Splunk para Codex. No declarar catálogo íntegro habilitado.

CS Updated by Codex Service Service about 4 hours ago Actions #4

AEMET — comparación y deduplicación

Ventana común 16/10/2026 05:27:54–08:27:54 CEST (3 horas).

Índice LEGACY .30 MiB DEV .81 MiB
spain_meteo 110,5613 0,9176
aemet_extras 138,3287 0,0331

Bytes type=Usage por hora de contabilización. Contadores de eventos filtrados por poll_time/event_time del colector, no exclusivamente _time: DEV conserva la hora de observación cuando está disponible; LEGACY usa la hora de consulta. Comparar solo _time=-3h no garantiza igualdad de ventanas de adquisición.

Comprobaciones

  • Código activo DEV coincide SHA256 con paquete local revisado: d14560f35840242f2d25edf393f3b4c87007bbb4bfc1bf06e73ac6c80bd4c164. LEGACY no tiene load_seen/save_seen ni salto de duplicados; DEV sí. Checkpoints DEV recientes y persistentes.
  • Antes de entregar a Splunk, DEV identifica observaciones por estación y fint, compara hash de contenido, omite las idénticas y emite cambios. CAP y otros documentos usan hash de contenido. Sigue emitiendo eventos source_health aunque no haya novedades.
  • Observaciones DEV: 36 consultas, 29 ok y 7 error; 2583 filas emitidas, 2583 claves estación/fecha distintas, cero repeticiones entre las emitidas; 293883 filas repetidas evitadas. No se realizó comparación exhaustiva de contenido con LEGACY: sus buckets de observaciones superaron el presupuesto de lectura de 150 MB comprimidos. Volumen LEGACY sí medido íntegramente desde Usage.
  • CAP: LEGACY 36 consultas ok y 12636 documentos raw emitidos (351 por consulta). DEV 36 consultas ok, 12636 duplicados evitados, cero documentos nuevos. Explica gran parte del contraste de extras sin implicar pérdida de avisos nuevos.
  • Ozono: LEGACY 3 consultas ok y 3 documentos emitidos. DEV 2 ok y 1 error; 2 documentos idénticos evitados, cero nuevos.
  • Clasificación de los eventos de salud DEV: los 7 fallos de observaciones y el de ozono contienen código404. No se afirma su causa ni qué fase de la petición falló sin diagnóstico adicional. La última consulta de observaciones es ok y detectó9810 repetidos.
  • DEV tiene17 entradas habilitadas frente a3 en LEGACY. Radiación6 consultas ok,6 documentos repetidos evitados; cinco nacionales1 consulta ok cada uno y documento repetido; UVI0–4 un documento nuevo cada uno. Inventario y predicción municipal son diarios y pueden no ejecutarse en una ventana de3h.

Conclusión: no deben coincidir los recuentos brutos. La reducción está demostrada por deduplicación previa a indexación. No se certifica cobertura completa: quedan investigar404, contrastar observaciones únicas entre nodos y validar productos diarios. No se modificaron colectores, índices ni servicios.

Actions

Also available in: PDF Atom