Integridad de los Datos - Data Patching
Integridad de los Datos - Data Patching
Objetivo
Este documento describe el funcionamiento del sistema de Data Patching de KSI VISION, diseñado para garantizar la continuidad y consistencia de los indicadores ante eventos excepcionales de pérdida parcial o total de datos.
El objetivo principal del data patching es reconstruir datos faltantes o inválidos (a nivel horario) cuando no existe forma de recuperar los datos originales, asegurando que los análisis macro y las tendencias históricas no se vean afectados.
Contexto y Principios Generales
KSI VISION cuenta con múltiples mecanismos preventivos y de recuperación automática para minimizar la pérdida de datos.
Prevención y Recuperación Automática
- Ante problemas de conectividad a Internet, el servidor local almacena hasta 16 horas de datos por defecto, que se sincronizan automáticamente al restablecerse la conexión.
- La integridad del sistema completo (cámaras, servidores y conectividad) es monitoreada de forma continua por el equipo de monitoreo de KSI VISION, que actúa proactivamente ante incidentes.
- Muchos incidentes se resuelven sin intervención del cliente ni impacto en los datos finales.
Cuándo se requiere Data Patching
El data patching se utiliza únicamente cuando no es posible recuperar los datos originales, por ejemplo:
- Errores de configuración persistentes
- Cortes de energía prolongados en servidores o cámaras
- Fallos críticos en la comunicación cámara–servidor
- Pérdida irreversible de datos históricos (parcial o total)
Características del Data Patching en KSI VISION
| Característica | Descripción |
|---|---|
| Aplicación manual | Los patcheos se ejecutan únicamente bajo solicitud explícita y conformidad del cliente o usuario autorizado. |
| No automático | Por defecto, no se aplican patcheos en la plataforma. |
| Trazabilidad completa | Todos los datos parcheados quedan identificados y marcados como tales. |
| Reversibilidad | Los datos parcheados pueden ser diferenciados, auditados y eliminados en cualquier momento. |
| Alcance controlado | El patcheo se aplica por tienda, nodo y rango temporal específico. |
Metodología de Data Patching
Principio Estadístico
El sistema de data patching de KSI VISION utiliza un método estadístico basado en promedios históricos por hora, que permite reconstruir valores faltantes sin alterar las tendencias macro.
El usuario puede configurar:
- Cantidad de semanas históricas a promediar
- Desplazamiento temporal hacia atrás desde donde se toman los datos históricos
Esto permite contemplar tanto patrones recientes como estacionalidad histórica (por ejemplo, el mismo período del año anterior).
Datos Horarios Faltantes (Missing Hourly Data)
Se considera que existen datos faltantes cuando una o más horas dentro de un rango temporal no cuentan con información válida.
Procedimiento
- Se identifican las horas faltantes dentro del rango seleccionado.
- Para cada hora faltante, se seleccionan los datos históricos de la misma hora y mismo día de la semana.
- Se toman los datos correspondientes a la cantidad de semanas configurada.
- Se calcula el promedio horario.
- El valor promedio se asigna como dato parcheado para esa hora.
- El comportamiento horario se replica manteniendo la forma temporal original.
Ejemplo
Si faltan los datos entre 14:00 y 17:00 del miércoles 19 de julio, y la configuración indica usar 3 semanas, el sistema:
- Toma los datos de 14:00–17:00 de los últimos 3 miércoles disponibles
- Calcula el promedio por cada hora
- Aplica esos valores como datos parcheados horarios
Si solo existen 2 semanas válidas, el promedio se calcula sobre esas 2 semanas.
Ejemplo Visual de Patcheo Estadístico
Configuración del Data Patching
Lista de Ejecuciones de Patching
La plataforma muestra un historial completo de ejecuciones, incluyendo:
- Fecha de ejecución
- Rango de fechas y horas parcheadas
- Tipo de patcheo
- Tiendas o nodos afectados
- Estado de la ejecución
Esto permite auditoría, control y trazabilidad total del proceso.
Creación de una Ejecución de Data Patching
Al crear una nueva ejecución, el usuario debe definir:
| Campo | Descripción |
|---|---|
| Rellenar con datos | Activa el proceso de parcheo para el rango seleccionado |
| Fecha de inicio | Inicio del período a parchear |
| Fecha de fin | Fin del período a parchear |
| Tipo de patcheo | Método estadístico a utilizar |
| Cantidad de semanas | Número de semanas históricas usadas para el promedio |
| Primera semana hacia atrás | Offset temporal para considerar datos históricos más antiguos |
Consideraciones Importantes
Nota
- El data patching aplica tanto a pérdidas parciales como totales de datos.
- Debe existir al menos un período histórico válido comparable para realizar el promedio.
- Los datos parcheados deben utilizarse preferentemente para análisis agregados y de tendencia.
Buenas Prácticas
- Usar la menor cantidad de patcheo posible.
- Priorizar semanas recientes salvo casos de estacionalidad.
- Validar los resultados antes de su uso en reporting ejecutivo.
Soporte y Aprobaciones
Toda ejecución de data patching debe contar con:
- Solicitud explícita del cliente o usuario autorizado
- Validación interna del equipo de KSI VISION
- Aprobación previa antes de su aplicación
Para consultas o soporte: