Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-09-08

Tutorial — crear una validación de calidad

Paso a paso para aplicar reglas de calidad en Silver, medir los rechazados y recibir avisos de cambios de esquema.

En esta página (14)

Lee antes: Calidad, deduplicación y rechazados · Pipeline medallón.


Qué es#

Una validación de calidad es el conjunto de reglas aplicadas en el paso Bronze → Silver: lo que es válido sigue a Silver; lo que se rechaza se cuenta y queda fuera (lo crudo permanece en Bronze). Este tutorial muestra cómo pensar, aplicar y medir esas reglas.

Para qué sirve#

Evitar que datos sucios (fecha inválida, precio cero, duplicados) contaminen dashboards y respuestas — y medir cuánto de tus datos está fuera del estándar.

Cuándo usar / cuándo no usar#

  • Úsala siempre: toda fuente que se convierte en dashboard necesita pasar por Silver.
  • No trates Silver como un descarte definitivo — Bronze guarda lo crudo para inspección y reprocesamiento.

Plan y permisos#

  • Núcleo · verificación de acceso · interruptor de apagado de ejecución de ingesta.

Requisitos previos#

  1. Datos ya en Bronze (vía pipeline full o importar archivo).
  2. Saber cuál es la clave de negocio de la tabla (para deduplicar).

Tipos de regla (y qué hace cada una)#

Tipo de reglaEfecto en la fila
Obligatorio (ej.: pedido_id)vacío → descarta
Dominio (ej.: status cancelado)valor prohibido → descarta
Tipo/formato (fecha YYYY-MM-DD, entero > 0)inválido → descarta
Normalización (estado → 2 letras mayúsculas)ajusta; si no puede, descarta
Relleno (categoría vacía → "Sem categoria")corrige, conserva la fila
Derivación (receita = precio × cantidad)crea una columna calculada
Deduplicación (por clave)conserva la 1.ª ocurrencia, descarta el resto

Regla de oro: corrige cuando es seguro (relleno/normalización) y descarta cuando no lo es (obligatorio/dominio/tipo). Toda fila descartada entra en la cuenta de rechazadas.

Paso a paso#

  1. Elige la clave de deduplicación (ej.: pedido_id).
  2. Lista las reglas duras (que descartan): campos obligatorios, dominios prohibidos, formatos de fecha/número, estado válido.
  3. Lista las reglas blandas (que corrigen): relleno de vacíos, normalización.
  4. Define las derivaciones (ej.: receita).
  5. Aplícalas en la transformación Silver y ejecuta el pipeline.
  6. Mide: revisa rejectedRows = bronzeRows − silverRows en el registro de ejecución.
  7. Investiga los picos de rechazo mirando Bronze (lo crudo está allí).

Ejemplo (sintético)#

Datos sucios en Bronze:

csv
pedido_id;data_pedido;uf;categoria;preco_unitario;quantidade;status
P-1001;2026-01-03;SP;Bebidas;12,90;3;pago
P-1001;2026-01-03;SP;Bebidas;12,90;3;pago # duplicado → descarta la 2.ª
P-1002;2026/01/03;RJ;Limpeza;29,90;1;pago # fecha inválida → descarta
P-1003;2026-01-04;Minas;Bebidas;12,90;2;pago # estado inválido → descarta
P-1004;2026-01-04;MG;;0;1;pago # precio 0 → descarta
P-1005;2026-01-05;MG;;12,90;2;cancelado # cancelado → descarta
P-1006;2026-01-05;SP;;12,90;2;pago # categoría vacía → "Sem categoria" (conserva)

Resultado: de 7 filas en Bronze, 1 pasa a Silver (P-1006, con categoría "Sem categoria" y receita = 25,80); 6 rechazadas — y ves exactamente eso en el contador.

Resultado esperado#

  • Silver solo con filas válidas y sin duplicados por clave.
  • Contador de rechazadas explícito por ejecución (nada desaparece en silencio).
  • Aviso de schema drift cuando la fuente cambia: columna nueva → info; columna eliminada / tipo cambiado / tabla eliminada → atencao (el mart que la lee se marca como "se rompe").

Límites y costos#

  • Profiling seguro: tope de 50 columnas, 5 ejemplos × 60 caracteres, payload ≤ 32 KiB.
  • Las reglas corren en la carga (sin costo extra de plataforma más allá del load/consultas).

Seguridad#

  • Columna PII en el profiling → ejemplos •••, mín./máx./distintos suprimidos.
  • Columna oculta por gobernanza → ni siquiera aparece.
  • Lo crudo rechazado sigue solo en el Bronze de tu workspace, nunca expuesto a otro.

Errores comunes#

SíntomaCausa probableQué hacer
Rechazo altísimoformato de fecha/precio diferente del esperadoAjusta la regla (el parser de precio acepta formato brasileño y estadounidense)
Duplicados en Goldclave de dedupe incorrectaRevisa cuál columna es la clave de negocio real
El mart dejó de cuadrarschema drift atencaoAjusta la transformación a la nueva columna/tipo

Solución de problemas#

  • Compara bronzeRows × silverRows en cada ejecución; un salto en el rechazo indica un cambio en la fuente.
  • Usa el profiling para ver el % de nulos y el tipo inferido × declarado (divergencia = suciedad).

Relacionados#


Última revisión: 2026-09-08.

Enlaces relacionados