Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-09-08

Tutorial — construir las capas Bronze, Silver y Gold

Paso a paso del medallón — del dato crudo (Bronze) al dato limpio (Silver) hasta los marts agregados (Gold) con transformaciones versionadas.

En esta página (18)

Lee antes: Pipeline medallón · Cómo fluyen los datos.


Qué es#

El medallón organiza el datalake en tres capas con roles claros:

  • Bronze — el dato crudo y verbatim, tal como llegó, auditable.
  • Silver — el dato limpio, tipado y deduplicado, listo para modelar.
  • Gold — los marts agregados, listos para dashboards y Q&A.

Para qué sirve#

Separar "lo que llegó" de "lo que está limpio" de "lo que está listo" — para que un error de transformación nunca destruya el dato original y cada capa tenga un propósito único.

Cuándo usar / cuándo no usar#

  • Úsalo siempre que quieras datos confiables para dashboards: el medallón es el camino estándar de cualquier fuente.
  • No saltes directo a Gold sin pasar por Silver — la calidad y la deduplicación viven allí.

Plan y permisos#

  • Núcleo · verificación de acceso · interruptores de apagado para ejecución de ingesta y actualización de paneles.

Requisitos previos#

  1. Una fuente conectada con datos ya en Bronze (vía pipeline full o importar archivo).

Paso a paso#

1) Bronze — crudo y auditable

  • La ingesta graba cada fila verbatim (como texto), garantizando el número de campos (rellena los faltantes con "") y agregando las marcas _ingest_at, _source, _row.
  • Nada se descarta en Bronze. Es tu retención del dato original.
  • En el camino SaaS/landing, los brutos se convierten en NDJSON en landing/<prefix>/_saas/<sourceId>/<stamp>/<tabela>/chunk-NNNN.json y un único load job lee el glob chunk-*.json.

2) Silver — limpieza, tipado, calidad y deduplicación

Las reglas corren fila por fila; un rechazo = la fila no entra en Silver y se cuenta en rejectedRows. En el ejemplo vendas:

ReglaComportamiento
Status canceladodescartado
Cantidadentero > 0
Precioacepta formato brasileño (1.299,90) y estadounidense (199.90); > 0
FechaYYYY-MM-DD válida; deriva mes = YYYY-MM
Estado (UF)2 letras mayúsculas
pedido_idobligatorio
Categoría vacíase convierte en "Sem categoria" (no se descarta)
Deduplicaciónpor pedido_id, conserva la 1.ª ocurrencia
receitaderivada = precio × cantidad

rejectedRows = bronzeRows − silverRows — la diferencia siempre está visible.

3) Transformaciones Silver → Gold (código versionado)

Las reglas de negocio son una IR versionada compilada a SQL determinista. Los pasos disponibles (con nombre en portugués en el producto): reemplazar, texto, fechas, dividir, condicional, además de group-by/joins con prevención de fan-out consciente del grano. El versionado, la ejecución paralela de verificación (ejecutar sin publicar) y el rollback están probados.

4) Gold — marts agregados

Los marts se recrean en cada ejecución (idempotentes). En el ejemplo:

MartContenido
gold_receita_mensalingresos y pedidos por mes
gold_receita_ufingresos y pedidos por estado (UF)
gold_receita_categoriaingresos y share por categoría
gold_kpisingresos totales, pedidos, ticket promedio, n.º de estados, período

5) Publish

El upsert del dashboard Gold republica el panel automáticamente — ejecutar el pipeline hace que los datos Gold sean visibles sin acción manual.

Ejemplo (sintético)#

Una transformación de negocio típica de Silver → Gold:

código
1) datas: data_pedido → mes (YYYY-MM)
2) condicional: categoria vazia → "Sem categoria"
3) dividir: receita = preco_unitario × quantidade
4) group-by: SUM(receita), COUNT(*) por mes → gold_receita_mensal

Resultado esperado#

  • Bronze con todas las filas crudas; Silver con las filas limpias y deduplicadas; Gold con los marts recreados.
  • Un registro de ejecución con Bronze / Silver / rechazadas / n.º de marts / duración / KPIs.

Límites y costos#

  • Profiling: tope de 50 columnas, 5 ejemplos × 60 caracteres, payload ≤ 32 KiB.
  • Carga SaaS → Bronze: por defecto batchSize 5.000, maxRows 200.000.
  • Las consultas en el datalake son cobrables y están limitadas por el tope de bytes facturables.

Seguridad#

  • Datasets acotados por workspace; nombres de columna interpolados solo a partir de una allowlist.
  • El schema drift avisa cuando una columna desaparece / cambia de tipo (el mart no se rompe en silencio) — ver Calidad.

Errores comunes#

SíntomaCausa probableQué hacer
Gold con menos datos de lo esperadomuchas filas rechazadas en SilverRevisa las reglas que las rechazaron
El mart "se rompió" tras un cambio en la fuenteschema drift (atencao)Ajusta la transformación a la nueva columna/tipo
Números diferentes tras reprocesaresperado si la fuente cambióBronze es verbatim; Silver/Gold reflejan la fuente actual

Solución de problemas#

  • Usa la ejecución paralela de verificación para validar una transformación antes de publicar.
  • Compara los contadores Bronze/Silver/rechazadas entre ejecuciones.

Relacionados#


Última revisión: 2026-09-08.

Enlaces relacionados