El pipeline sigue el patrón medallón: Bronze (bruto) → Silver (limpio) → Gold (mart publicado). La ejecución es asíncrona e idempotente, con retry/backoff y DLQ — consulta Pipeline medallón y Programación, retry y DLQ.
Catálogo#
| Síntoma | Causa probable | Cómo verificar | Solución | Prevención |
|---|---|---|---|---|
Pipeline "atascado" en running | job colgado / dependencia lenta | revisa la Auditoría (categoría Pipeline) y la hora del run | espera la reconciliación; reprocesa el origen | monitorea los runs largos; divide las cargas grandes |
Ejecución marcada como failed | origen no disponible o dato mal formado | expande el detalle del run (error registrado) | corrige el origen y vuelve a ejecutar | valida "Probar conexión" antes de programar |
| Run reprocesado sin duplicar | idempotencia del pipeline | esperado (retry seguro) | nada que hacer | confía en el retry/backoff en lugar de volver a dispararlo manualmente |
| Origen "vacío" en un día | el origen no tenía datos en la ventana | revisa el origen en el período | vuelve a ejecutar cuando el origen tenga datos | alerta de freshness en la capa Gold |
| El incremental no trae filas nuevas | el watermark ya avanzó más allá del dato | revisa la columna de watermark | ejecuta un backfill de la ventana necesaria | elige una columna de watermark monótona |
| Esperabas CDC (updates/deletes) | el CDC verdadero es Roadmap | el incremental es por watermark | usa watermark + backfill; los deletes no se capturan | consulta Ingesta incremental |
| Una columna nueva en el origen no apareció | schema drift no propagado | compara el esquema del origen con el Bronze | vuelve a ejecutar el descubrimiento/carga del origen | estandariza el esquema en el origen |
| El tipo de columna cambió y rompió Silver/Gold | cambio de tipo incompatible | revisa el error de la transformación | ajusta la transformación/tipo esperado | evita cambiar tipos en el origen sin aviso |
STRUCT/RECORD o array no sale en el feed | las columnas anidadas no se publican | revisa el esquema de la tabla Gold | publica columnas planas en los marts | modela Gold con columnas planas |
| El job se cae por costo | alcanzó el tope de volumen por consulta | revisa el costo/error del run | reduce el alcance/particiona el origen | consulta Costo y rendimiento |
Verificación rápida#
- Abre la Auditoría, filtra por categoría Pipeline y el período.
- Ubica el run y expande el detalle (error/observación).
- Crúzalo con el origen (¿el origen tenía datos en la ventana?) y con el watermark.
Resultado esperado después de la corrección#
- El run vuelve a
success, el Bronze recibe las filas, y Silver/Gold se materializan sin error. El feed/dashboard pasa a reflejar el nuevo dato.
Relacionados#
- Pipeline medallón
- Ingesta incremental y backfill
- Programación, retry y DLQ
- Troubleshooting: conexión y credenciales
Última revisión: 2026-09-08. El incremental es por watermark; CDC (captura de cambios) está planificado.