Lee antes: Calidad, deduplicación y rechazados · Pipeline medallón.
Qué es#
Una validación de calidad es el conjunto de reglas aplicadas en el paso Bronze → Silver: lo que es válido sigue a Silver; lo que se rechaza se cuenta y queda fuera (lo crudo permanece en Bronze). Este tutorial muestra cómo pensar, aplicar y medir esas reglas.
Para qué sirve#
Evitar que datos sucios (fecha inválida, precio cero, duplicados) contaminen dashboards y respuestas — y medir cuánto de tus datos está fuera del estándar.
Cuándo usar / cuándo no usar#
- Úsala siempre: toda fuente que se convierte en dashboard necesita pasar por Silver.
- No trates Silver como un descarte definitivo — Bronze guarda lo crudo para inspección y reprocesamiento.
Plan y permisos#
- Núcleo · verificación de acceso · interruptor de apagado de ejecución de ingesta.
Requisitos previos#
- Datos ya en Bronze (vía pipeline full o importar archivo).
- Saber cuál es la clave de negocio de la tabla (para deduplicar).
Tipos de regla (y qué hace cada una)#
| Tipo de regla | Efecto en la fila |
|---|---|
Obligatorio (ej.: pedido_id) | vacío → descarta |
Dominio (ej.: status cancelado) | valor prohibido → descarta |
Tipo/formato (fecha YYYY-MM-DD, entero > 0) | inválido → descarta |
| Normalización (estado → 2 letras mayúsculas) | ajusta; si no puede, descarta |
Relleno (categoría vacía → "Sem categoria") | corrige, conserva la fila |
Derivación (receita = precio × cantidad) | crea una columna calculada |
| Deduplicación (por clave) | conserva la 1.ª ocurrencia, descarta el resto |
Regla de oro: corrige cuando es seguro (relleno/normalización) y descarta cuando no lo es (obligatorio/dominio/tipo). Toda fila descartada entra en la cuenta de rechazadas.
Paso a paso#
- Elige la clave de deduplicación (ej.:
pedido_id). - Lista las reglas duras (que descartan): campos obligatorios, dominios prohibidos, formatos de fecha/número, estado válido.
- Lista las reglas blandas (que corrigen): relleno de vacíos, normalización.
- Define las derivaciones (ej.:
receita). - Aplícalas en la transformación Silver y ejecuta el pipeline.
- Mide: revisa
rejectedRows = bronzeRows − silverRowsen el registro de ejecución. - Investiga los picos de rechazo mirando Bronze (lo crudo está allí).
Ejemplo (sintético)#
Datos sucios en Bronze:
pedido_id;data_pedido;uf;categoria;preco_unitario;quantidade;status
P-1001;2026-01-03;SP;Bebidas;12,90;3;pago
P-1001;2026-01-03;SP;Bebidas;12,90;3;pago # duplicado → descarta la 2.ª
P-1002;2026/01/03;RJ;Limpeza;29,90;1;pago # fecha inválida → descarta
P-1003;2026-01-04;Minas;Bebidas;12,90;2;pago # estado inválido → descarta
P-1004;2026-01-04;MG;;0;1;pago # precio 0 → descarta
P-1005;2026-01-05;MG;;12,90;2;cancelado # cancelado → descarta
P-1006;2026-01-05;SP;;12,90;2;pago # categoría vacía → "Sem categoria" (conserva)Resultado: de 7 filas en Bronze, 1 pasa a Silver (P-1006, con categoría
"Sem categoria" y receita = 25,80); 6 rechazadas — y ves exactamente eso en el
contador.
Resultado esperado#
- Silver solo con filas válidas y sin duplicados por clave.
- Contador de rechazadas explícito por ejecución (nada desaparece en silencio).
- Aviso de schema drift cuando la fuente cambia: columna nueva →
info; columna eliminada / tipo cambiado / tabla eliminada →atencao(el mart que la lee se marca como "se rompe").
Límites y costos#
- Profiling seguro: tope de 50 columnas, 5 ejemplos × 60 caracteres, payload ≤ 32 KiB.
- Las reglas corren en la carga (sin costo extra de plataforma más allá del load/consultas).
Seguridad#
- Columna PII en el profiling → ejemplos
•••, mín./máx./distintos suprimidos. - Columna oculta por gobernanza → ni siquiera aparece.
- Lo crudo rechazado sigue solo en el Bronze de tu workspace, nunca expuesto a otro.
Errores comunes#
| Síntoma | Causa probable | Qué hacer |
|---|---|---|
| Rechazo altísimo | formato de fecha/precio diferente del esperado | Ajusta la regla (el parser de precio acepta formato brasileño y estadounidense) |
| Duplicados en Gold | clave de dedupe incorrecta | Revisa cuál columna es la clave de negocio real |
| El mart dejó de cuadrar | schema drift atencao | Ajusta la transformación a la nueva columna/tipo |
Solución de problemas#
- Compara
bronzeRows×silverRowsen cada ejecución; un salto en el rechazo indica un cambio en la fuente. - Usa el profiling para ver el % de nulos y el tipo inferido × declarado (divergencia = suciedad).
Relacionados#
Última revisión: 2026-09-08.