Lee antes: Cómo fluyen los datos · Pipeline medallón.
Qué es#
Un pipeline full recalcula todo, desde cero, en cada ejecución: lee la fuente, carga Bronze verbatim, aplica calidad/deduplicación en Silver y recrea los marts Gold. Es el modo más simple y siempre correcto — y el respaldo de los modos incrementales.
Para qué sirve#
- Hacer la primera carga de una fuente (que ya sirve como backfill).
- Garantizar la máxima exactitud cuando la tabla es pequeña o cambia poco.
- Reprocesar todo después de un cambio en una regla de negocio.
Cuándo usar / cuándo no usar#
- Úsalo cuando: es la 1.ª carga; la tabla es pequeña; la fuente borra filas; o quieres la garantía máxima.
- No lo uses cuando: la tabla es grande y solo crece — en ese caso el incremental por watermark es mucho más barato.
Plan y permisos#
- Núcleo · verificación de acceso · interruptores de apagado para ejecución de ingesta (carga) y actualización de paneles (republicar el panel).
Requisitos previos#
- Una fuente conectada y probada (ej.: PostgreSQL, BigQuery o un archivo importado).
- Al menos una tabla seleccionada para ingesta.
Las dos pistas#
El producto muestra el progreso en vivo en pasos serializables:
Ingesta de una fuente (detalle del pipeline, sección Tablas de Bronze → Ingerir en vivo):
validar → landing → bronze → registrarPipeline de ingeniería (página del pipeline):
ingest → bronze → silver → gold → publishPaso a paso#
- Abre el pipeline, ve a la sección Tablas de Bronze y haz clic en Ingerir en vivo para traer los brutos hasta
Bronze (
validar → landing → bronze → registrar). - Ve a la página del pipeline y ejecuta la pista completa
ingest → bronze → silver → gold → publish, dejando el modo en full (por defecto). - Sigue, en la pantalla de ejecución, los contadores Bronze / Silver / rechazadas y la lista de marts Gold generados.
- Al final, el dashboard Gold se republica automáticamente (no necesitas publicarlo a mano).
Ejemplo (sintético)#
Fuente: una tabla vendas con las columnas pedido_id, data_pedido, uf, categoria, preco_unitario, quantidade, status. Después del full, los marts Gold típicos son:
| Mart | Contenido |
|---|---|
gold_receita_mensal | ingresos y n.º de pedidos por mes |
gold_receita_uf | ingresos y pedidos por estado (UF) |
gold_receita_categoria | ingresos y share por categoría |
gold_kpis | una sola fila: ingresos totales, pedidos, ticket promedio, n.º de estados, período |
Resultado esperado#
- Un registro de ejecución con Bronze / Silver / rechazadas / n.º de marts / duración / KPIs.
rejectedRows = bronzeRows − silverRows— la diferencia siempre está visible.- El panel público Gold se actualiza y pasa a mostrar los datos recién procesados.
Límites y costos#
- Carga SaaS/archivo → Bronze: por defecto
batchSize5.000,maxRows200.000. - El full lee todo — es el modo más caro por definición. Las consultas en el datalake son cobrables y están limitadas por el tope de volumen leído por consulta (por defecto 1 GiB).
Seguridad#
- Datasets/buckets acotados por workspace (
<prefix>_bronze/_silver/_gold). - Nombres de columna interpolados solo a partir de una allowlist; PII enmascarada en el profiling.
Errores comunes#
| Síntoma | Causa probable | Qué hacer |
|---|---|---|
| Muchas filas rechazadas | datos fuera de las reglas de calidad | Mira qué reglas las rechazaron en Calidad |
| El mart no se actualizó | el pipeline se detuvo antes de gold/publish | Ejecuta la pista completa; revisa el log de ejecución |
| La carga superó el tope de bytes | la query lee demasiado | Reduce el alcance o ajusta el tope de forma consciente |
Solución de problemas#
- Compara
bronzeRows(lo que llegó) consilverRows(lo que pasó la limpieza). - Revisa la lista de marts Gold en la pantalla de ejecución.
Relacionados#
Última revisión: 2026-09-08.