Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-09-08

Tutorial — crear un pipeline de carga full

Paso a paso para ejecutar un pipeline completo (full) que lleva los datos de la fuente a los marts Gold y republica el dashboard.

En esta página (14)

Lee antes: Cómo fluyen los datos · Pipeline medallón.


Qué es#

Un pipeline full recalcula todo, desde cero, en cada ejecución: lee la fuente, carga Bronze verbatim, aplica calidad/deduplicación en Silver y recrea los marts Gold. Es el modo más simple y siempre correcto — y el respaldo de los modos incrementales.

Para qué sirve#

  • Hacer la primera carga de una fuente (que ya sirve como backfill).
  • Garantizar la máxima exactitud cuando la tabla es pequeña o cambia poco.
  • Reprocesar todo después de un cambio en una regla de negocio.

Cuándo usar / cuándo no usar#

  • Úsalo cuando: es la 1.ª carga; la tabla es pequeña; la fuente borra filas; o quieres la garantía máxima.
  • No lo uses cuando: la tabla es grande y solo crece — en ese caso el incremental por watermark es mucho más barato.

Plan y permisos#

  • Núcleo · verificación de acceso · interruptores de apagado para ejecución de ingesta (carga) y actualización de paneles (republicar el panel).

Requisitos previos#

  1. Una fuente conectada y probada (ej.: PostgreSQL, BigQuery o un archivo importado).
  2. Al menos una tabla seleccionada para ingesta.

Las dos pistas#

El producto muestra el progreso en vivo en pasos serializables:

Ingesta de una fuente (detalle del pipeline, sección Tablas de Bronze → Ingerir en vivo):

código
validar → landing → bronze → registrar

Pipeline de ingeniería (página del pipeline):

código
ingest → bronze → silver → gold → publish

Paso a paso#

  1. Abre el pipeline, ve a la sección Tablas de Bronze y haz clic en Ingerir en vivo para traer los brutos hasta Bronze (validar → landing → bronze → registrar).
  2. Ve a la página del pipeline y ejecuta la pista completa ingest → bronze → silver → gold → publish, dejando el modo en full (por defecto).
  3. Sigue, en la pantalla de ejecución, los contadores Bronze / Silver / rechazadas y la lista de marts Gold generados.
  4. Al final, el dashboard Gold se republica automáticamente (no necesitas publicarlo a mano).

Ejemplo (sintético)#

Fuente: una tabla vendas con las columnas pedido_id, data_pedido, uf, categoria, preco_unitario, quantidade, status. Después del full, los marts Gold típicos son:

MartContenido
gold_receita_mensalingresos y n.º de pedidos por mes
gold_receita_ufingresos y pedidos por estado (UF)
gold_receita_categoriaingresos y share por categoría
gold_kpisuna sola fila: ingresos totales, pedidos, ticket promedio, n.º de estados, período

Resultado esperado#

  • Un registro de ejecución con Bronze / Silver / rechazadas / n.º de marts / duración / KPIs.
  • rejectedRows = bronzeRows − silverRows — la diferencia siempre está visible.
  • El panel público Gold se actualiza y pasa a mostrar los datos recién procesados.

Límites y costos#

  • Carga SaaS/archivo → Bronze: por defecto batchSize 5.000, maxRows 200.000.
  • El full lee todo — es el modo más caro por definición. Las consultas en el datalake son cobrables y están limitadas por el tope de volumen leído por consulta (por defecto 1 GiB).

Seguridad#

  • Datasets/buckets acotados por workspace (<prefix>_bronze/_silver/_gold).
  • Nombres de columna interpolados solo a partir de una allowlist; PII enmascarada en el profiling.

Errores comunes#

SíntomaCausa probableQué hacer
Muchas filas rechazadasdatos fuera de las reglas de calidadMira qué reglas las rechazaron en Calidad
El mart no se actualizóel pipeline se detuvo antes de gold/publishEjecuta la pista completa; revisa el log de ejecución
La carga superó el tope de bytesla query lee demasiadoReduce el alcance o ajusta el tope de forma consciente

Solución de problemas#

  • Compara bronzeRows (lo que llegó) con silverRows (lo que pasó la limpieza).
  • Revisa la lista de marts Gold en la pantalla de ejecución.

Relacionados#


Última revisión: 2026-09-08.

Enlaces relacionados