Lee antes: Pipeline medallón · Cómo fluyen los datos.
Qué es#
El medallón organiza el datalake en tres capas con roles claros:
- Bronze — el dato crudo y verbatim, tal como llegó, auditable.
- Silver — el dato limpio, tipado y deduplicado, listo para modelar.
- Gold — los marts agregados, listos para dashboards y Q&A.
Para qué sirve#
Separar "lo que llegó" de "lo que está limpio" de "lo que está listo" — para que un error de transformación nunca destruya el dato original y cada capa tenga un propósito único.
Cuándo usar / cuándo no usar#
- Úsalo siempre que quieras datos confiables para dashboards: el medallón es el camino estándar de cualquier fuente.
- No saltes directo a Gold sin pasar por Silver — la calidad y la deduplicación viven allí.
Plan y permisos#
- Núcleo · verificación de acceso · interruptores de apagado para ejecución de ingesta y actualización de paneles.
Requisitos previos#
- Una fuente conectada con datos ya en Bronze (vía pipeline full o importar archivo).
Paso a paso#
1) Bronze — crudo y auditable
- La ingesta graba cada fila verbatim (como texto), garantizando el número de campos
(rellena los faltantes con
"") y agregando las marcas_ingest_at,_source,_row. - Nada se descarta en Bronze. Es tu retención del dato original.
- En el camino SaaS/landing, los brutos se convierten en NDJSON en
landing/<prefix>/_saas/<sourceId>/<stamp>/<tabela>/chunk-NNNN.jsony un único load job lee el globchunk-*.json.
2) Silver — limpieza, tipado, calidad y deduplicación
Las reglas corren fila por fila; un rechazo = la fila no entra en Silver y se
cuenta en rejectedRows. En el ejemplo vendas:
| Regla | Comportamiento |
|---|---|
Status cancelado | descartado |
| Cantidad | entero > 0 |
| Precio | acepta formato brasileño (1.299,90) y estadounidense (199.90); > 0 |
| Fecha | YYYY-MM-DD válida; deriva mes = YYYY-MM |
| Estado (UF) | 2 letras mayúsculas |
pedido_id | obligatorio |
| Categoría vacía | se convierte en "Sem categoria" (no se descarta) |
| Deduplicación | por pedido_id, conserva la 1.ª ocurrencia |
receita | derivada = precio × cantidad |
rejectedRows = bronzeRows − silverRows — la diferencia siempre está visible.
3) Transformaciones Silver → Gold (código versionado)
Las reglas de negocio son una IR versionada compilada a SQL determinista. Los pasos disponibles (con nombre en portugués en el producto): reemplazar, texto, fechas, dividir, condicional, además de group-by/joins con prevención de fan-out consciente del grano. El versionado, la ejecución paralela de verificación (ejecutar sin publicar) y el rollback están probados.
4) Gold — marts agregados
Los marts se recrean en cada ejecución (idempotentes). En el ejemplo:
| Mart | Contenido |
|---|---|
gold_receita_mensal | ingresos y pedidos por mes |
gold_receita_uf | ingresos y pedidos por estado (UF) |
gold_receita_categoria | ingresos y share por categoría |
gold_kpis | ingresos totales, pedidos, ticket promedio, n.º de estados, período |
5) Publish
El upsert del dashboard Gold republica el panel automáticamente — ejecutar el pipeline hace que los datos Gold sean visibles sin acción manual.
Ejemplo (sintético)#
Una transformación de negocio típica de Silver → Gold:
1) datas: data_pedido → mes (YYYY-MM)
2) condicional: categoria vazia → "Sem categoria"
3) dividir: receita = preco_unitario × quantidade
4) group-by: SUM(receita), COUNT(*) por mes → gold_receita_mensalResultado esperado#
- Bronze con todas las filas crudas; Silver con las filas limpias y deduplicadas; Gold con los marts recreados.
- Un registro de ejecución con Bronze / Silver / rechazadas / n.º de marts / duración / KPIs.
Límites y costos#
- Profiling: tope de 50 columnas, 5 ejemplos × 60 caracteres, payload ≤ 32 KiB.
- Carga SaaS → Bronze: por defecto
batchSize5.000,maxRows200.000. - Las consultas en el datalake son cobrables y están limitadas por el tope de bytes facturables.
Seguridad#
- Datasets acotados por workspace; nombres de columna interpolados solo a partir de una allowlist.
- El schema drift avisa cuando una columna desaparece / cambia de tipo (el mart no se rompe en silencio) — ver Calidad.
Errores comunes#
| Síntoma | Causa probable | Qué hacer |
|---|---|---|
| Gold con menos datos de lo esperado | muchas filas rechazadas en Silver | Revisa las reglas que las rechazaron |
| El mart "se rompió" tras un cambio en la fuente | schema drift (atencao) | Ajusta la transformación a la nueva columna/tipo |
| Números diferentes tras reprocesar | esperado si la fuente cambió | Bronze es verbatim; Silver/Gold reflejan la fuente actual |
Solución de problemas#
- Usa la ejecución paralela de verificación para validar una transformación antes de publicar.
- Compara los contadores Bronze/Silver/rechazadas entre ejecuciones.
Relacionados#
- Pipeline medallón (referencia)
- Crear validación de calidad
- Crear pipeline full
- Agregar una columna a una tabla Silver o Gold
Última revisión: 2026-09-08.