Todo pipeline tiene una cadencia: cada cuánto tiempo va a buscar los datos en el origen.
- Lote (una vez al día) — el valor predeterminado. El pipeline se ejecuta a una hora del día (o el día anterior, D-1).
- Micro-lote (de minutos) — el pipeline se ejecuta cada 5 o cada 15 minutos y, en cada ronda, trae solo lo que cambió desde la anterior. Es la opción de casi tiempo real del producto: el panel queda, como máximo, algunos minutos detrás del origen.
En qué plan
El micro-lote forma parte de los planes Business y Scale. En los demás planes la cadencia queda en Lote; si eliges micro-lote, la pantalla lo rechaza con el aviso "El micro-lote no está incluido en tu plan". Ver Planes.
Activar el micro-lote#
1. Abre el pipeline
En ETL/ELT → Pipelines, abre el pipeline y ve a la tarjeta Programación del pipeline. Haz clic en Editar programación.
2. Elige la cadencia
En Modo, deja Todos los días, a una hora. En Cadencia, elige Micro-lote (de minutos).
3. Elige el intervalo
En Intervalo, elige Cada 5 minutos o Cada 15 minutos.
4. Guarda y revisa la programación
Haz clic en Guardar programación. El micro-lote solo se ejecuta con la programación activada (Pausar/Activar programación, arriba en la pantalla del pipeline).
Para volver al ritmo diario, cambia la Cadencia a Lote (una vez al día) y guarda.
Qué lee el micro-lote en cada ronda#
El micro-lote no recarga la tabla entera cada 5 minutos. Cada ronda trae
solo lo que cambió desde la anterior, por la columna clave de la tabla
(una columna de fecha/hora que solo crece, como atualizado_em) — la misma
carga incremental descrita en Modos de carga.
| Si la tabla… | Con el micro-lote activado |
|---|---|
| es incremental (agrega) y tiene columna clave de fecha/hora | se ejecuta en cada intervalo, trayendo solo las filas nuevas o modificadas |
| no tiene columna clave, o se recarga entera | sigue al ritmo de lote: carga una vez al día. La ronda de minutos omite esa tabla y registra el motivo |
Así, activar el micro-lote en un pipeline con tablas sin columna clave no multiplica el costo: solo las tablas que se pueden recortar se ejecutan cada pocos minutos.
Para aprovecharlo
En la tabla Bronze, usa la carga incremental y elige como columna clave una fecha/hora de actualización del origen. Ver Ingesta incremental y backfill.
El aviso de atraso#
Un pipeline que promete minutos y deja de ejecutarse se avisa en el momento, y no solo al día siguiente. Cuando la última ejecución queda más de tres intervalos atrás, el pipeline aparece como Atrasado — en la lista de pipelines, en el detalle del pipeline y en la pantalla Operación — con el número escrito:
"Prometido cada 5 min, pero la última ejecución fue hace 40 min — 8 períodos sin ejecutarse. Revisa la agenda y las ejecuciones."
- Un pipeline pausado no indica atraso: pausar es desactivar la promesa.
- Un pipeline que nunca se ejecutó no está atrasado — aparece como "nunca ejecutado".
- Un pipeline en lote diario no tiene este aviso.
Si aparece el aviso, abre ETL/ELT → Ejecuciones y mira la última ronda. Las causas más comunes son saldo de créditos agotado, una ejecución que tarda más que el intervalo (la siguiente espera a que termine la anterior) y una credencial del origen vencida. Ver Programación, reintentos y DLQ.
Costo#
Cada ronda es una ejecución del pipeline y consume créditos como cualquier otra — proporcional a lo que lee. Con 5 minutos son hasta 288 rondas por día; con 15, hasta 96. Empieza con 15 minutos y baja a 5 solo si el negocio lo necesita. Sigue el consumo en Configuración → Costos (Consumo y cuotas).
Micro-lote no es tiempo real#
El micro-lote busca los datos en intervalos cortos. No lee el log de transacciones de la base de datos (CDC) y, por eso:
- no ve una fila borrada en el origen (la carga incremental solo ve lo que se incluyó o modificó);
- el panel queda algunos minutos detrás del origen, nunca segundos.
La captura continua de cambios (CDC/tiempo real) todavía no está disponible. Para casi tiempo real, el micro-lote es el camino. Ver Cómo fluyen los datos.