Lee antes:
conceitos-fluxo-de-dados.md. Referencia de la capa Silver enpipeline-medalhao.md.
El principio: lo crudo nunca se pierde#
La calidad de Ingestia se aplica en el paso Bronze → Silver. La garantía central es que el Bronze es inmutable y verbatim: cada fila del origen entra como texto, sin conversión, con sellos de auditoría. Por lo tanto, ninguna fila desaparece — incluso una fila rechazada en la limpieza sigue existiendo en el Bronze, disponible para inspección y reprocesamiento.
Bronze (todo, crudo) → reglas de calidad + dedupe → Silver (solo lo válido, limpio)
│
└──▶ rechazadas = Bronze − Silver (contadas, visibles)Las reglas de calidad (ejemplo de referencia)#
La implementación de referencia (tabla sintética vendas) aplica las reglas fila por
fila. Un rechazo = la fila no entra en la Silver y se cuenta en rejectedRows:
| Regla | Comportamiento |
|---|---|
Status cancelado | descartado |
| Cantidad | entero > 0; si no, se descarta |
| Precio | acepta formato BR (1.299,90) y US (199.90); > 0; si no, se descarta |
| Fecha | YYYY-MM-DD válida; si no, se descarta; deriva mes = YYYY-MM |
| UF (estado) | se normaliza a 2 letras mayúsculas; si no, se descarta |
pedido_id | obligatorio |
| Categoría vacía | pasa a "Sem categoria" (no se descarta) |
| Deduplicación | por pedido_id, mantiene la 1.ª ocurrencia |
receita | derivada = precio × cantidad |
Observa la diferencia entre descartar (la fila no pasó una regla dura) y corregir (la categoría vacía pasa a "Sem categoria" — la fila se mantiene). El producto corrige cuando es seguro y descarta cuando no lo es.
Rechazados: la diferencia siempre es visible#
El número de filas rechazadas siempre es explícito:
rejectedRows = bronzeRows − silverRowsCada ejecución guarda ese trío (Bronze / Silver / rechazadas) en el historial de ejecuciones. Ves, en cada run, cuántas filas entraron crudas, cuántas sobrevivieron a la limpieza y cuántas quedaron fuera. Nada se descarta en silencio.
Deduplicación#
La deduplicación ocurre en la Silver, por clave de negocio (en el ejemplo, pedido_id),
manteniendo la primera ocurrencia. Los duplicados posteriores de la misma clave se
descartan (y entran en la cuenta de rechazadas). Esto hace que la Silver sea idempotente por
clave, aunque el origen envíe la misma fila más de una vez.
"Cuarentena": lo que el producto realmente hace (honestidad)#
Hoy no existe una tabla de cuarentena separada para las filas rechazadas en la capa Silver. Lo que existe — y cumple el mismo papel — es la combinación de:
- el Bronze verbatim guarda todas las filas crudas (la "retención" de lo que llegó);
- el contador de rechazadas (
bronzeRows − silverRows) hace que la pérdida sea medible; - el saneamiento automático de carga preserva las filas problemáticas del archivo en lugar de inventar datos (una fila no parseable se mantiene tal cual).
En otras palabras: no pierdes el dato rechazado (está en el Bronze) y sabes cuánto
se rechazó (contador), pero Ingestia no promete hoy una cola de
cuarentena dedicada con flujo de corrección/reenvío por fila. No confundas esto con la
DLQ, que es para ejecuciones (jobs) que fallan — no para filas de datos. Consulta
tratar-falha-dlq.md.
Schema drift: el mart no se rompe en silencio#
Cuando el schema de la fuente cambia, Ingestia compara el baseline guardado con el schema actual:
| Cambio | Severidad | Efecto |
|---|---|---|
| columna/tabla nueva | info | aditivo — el mart no se rompe |
| columna eliminada | atencao | el mart que la lee se rompe |
| tipo cambiado | atencao | el cast/agregación aguas abajo se rompe |
| tabla eliminada | atencao | — |
La severidad reportada es la peor encontrada; el mart se marca como "se rompe" cuando hay
atencao. Esto te avisa antes de que un dashboard muestre un número equivocado.
Profiling seguro (una muestra que no se filtra)#
Al catalogar una tabla, el profiling calcula por columna: tipo declarado × inferido, % de nulos, distintos (estimación), mín/máx, longitud y hasta 5 ejemplos. La seguridad viene incorporada:
- Columna PII → los ejemplos pasan a
•••; mín/máx/distintos/longitud suprimidos. - Columna oculta por gobernanza → ni siquiera aparece (el nombre no viaja).
- Topes: 50 columnas, ejemplo de 60 caracteres, payload ≤ 32 KiB.
Cuándo usar / cuándo no usar estas garantías#
- Confía en ellas para: medir la salud de una fuente (tasa de rechazo), evitar duplicados por clave y recibir avisos de cambios de schema.
- No cuentes con: una cola de cuarentena por fila con reenvío automático (no
existe hoy), ni con el borrado físico propagado por watermark puro (consulta
conceitos-modos-de-carga.md).
Relacionados#
- Pipeline medallón Bronze/Silver/Gold
- Tutorial: crear una validación de calidad
- Tutorial: construir Bronze/Silver/Gold
- Tutorial: tratar fallas y la DLQ
Última revisión: 2026-09-08.