Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-09-08

Calidad, deduplicación, rechazados y cuarentena

Cómo Ingestia limpia los datos en Silver — reglas de calidad, deduplicación, conteo de rechazados y el papel del Bronze como retención de lo crudo.

En esta página (9)

Lee antes: conceitos-fluxo-de-dados.md. Referencia de la capa Silver en pipeline-medalhao.md.


El principio: lo crudo nunca se pierde#

La calidad de Ingestia se aplica en el paso Bronze → Silver. La garantía central es que el Bronze es inmutable y verbatim: cada fila del origen entra como texto, sin conversión, con sellos de auditoría. Por lo tanto, ninguna fila desaparece — incluso una fila rechazada en la limpieza sigue existiendo en el Bronze, disponible para inspección y reprocesamiento.

código
Bronze (todo, crudo) → reglas de calidad + dedupe → Silver (solo lo válido, limpio)
                                    │
                                    └──▶ rechazadas = Bronze − Silver (contadas, visibles)

Las reglas de calidad (ejemplo de referencia)#

La implementación de referencia (tabla sintética vendas) aplica las reglas fila por fila. Un rechazo = la fila no entra en la Silver y se cuenta en rejectedRows:

ReglaComportamiento
Status canceladodescartado
Cantidadentero > 0; si no, se descarta
Precioacepta formato BR (1.299,90) y US (199.90); > 0; si no, se descarta
FechaYYYY-MM-DD válida; si no, se descarta; deriva mes = YYYY-MM
UF (estado)se normaliza a 2 letras mayúsculas; si no, se descarta
pedido_idobligatorio
Categoría vacíapasa a "Sem categoria" (no se descarta)
Deduplicaciónpor pedido_id, mantiene la 1.ª ocurrencia
receitaderivada = precio × cantidad

Observa la diferencia entre descartar (la fila no pasó una regla dura) y corregir (la categoría vacía pasa a "Sem categoria" — la fila se mantiene). El producto corrige cuando es seguro y descarta cuando no lo es.

Rechazados: la diferencia siempre es visible#

El número de filas rechazadas siempre es explícito:

código
rejectedRows = bronzeRows − silverRows

Cada ejecución guarda ese trío (Bronze / Silver / rechazadas) en el historial de ejecuciones. Ves, en cada run, cuántas filas entraron crudas, cuántas sobrevivieron a la limpieza y cuántas quedaron fuera. Nada se descarta en silencio.

Deduplicación#

La deduplicación ocurre en la Silver, por clave de negocio (en el ejemplo, pedido_id), manteniendo la primera ocurrencia. Los duplicados posteriores de la misma clave se descartan (y entran en la cuenta de rechazadas). Esto hace que la Silver sea idempotente por clave, aunque el origen envíe la misma fila más de una vez.

"Cuarentena": lo que el producto realmente hace (honestidad)#

Hoy no existe una tabla de cuarentena separada para las filas rechazadas en la capa Silver. Lo que existe — y cumple el mismo papel — es la combinación de:

  1. el Bronze verbatim guarda todas las filas crudas (la "retención" de lo que llegó);
  2. el contador de rechazadas (bronzeRows − silverRows) hace que la pérdida sea medible;
  3. el saneamiento automático de carga preserva las filas problemáticas del archivo en lugar de inventar datos (una fila no parseable se mantiene tal cual).

En otras palabras: no pierdes el dato rechazado (está en el Bronze) y sabes cuánto se rechazó (contador), pero Ingestia no promete hoy una cola de cuarentena dedicada con flujo de corrección/reenvío por fila. No confundas esto con la DLQ, que es para ejecuciones (jobs) que fallan — no para filas de datos. Consulta tratar-falha-dlq.md.

Schema drift: el mart no se rompe en silencio#

Cuando el schema de la fuente cambia, Ingestia compara el baseline guardado con el schema actual:

CambioSeveridadEfecto
columna/tabla nuevainfoaditivo — el mart no se rompe
columna eliminadaatencaoel mart que la lee se rompe
tipo cambiadoatencaoel cast/agregación aguas abajo se rompe
tabla eliminadaatencao—

La severidad reportada es la peor encontrada; el mart se marca como "se rompe" cuando hay atencao. Esto te avisa antes de que un dashboard muestre un número equivocado.

Profiling seguro (una muestra que no se filtra)#

Al catalogar una tabla, el profiling calcula por columna: tipo declarado × inferido, % de nulos, distintos (estimación), mín/máx, longitud y hasta 5 ejemplos. La seguridad viene incorporada:

  • Columna PII → los ejemplos pasan a •••; mín/máx/distintos/longitud suprimidos.
  • Columna oculta por gobernanza → ni siquiera aparece (el nombre no viaja).
  • Topes: 50 columnas, ejemplo de 60 caracteres, payload ≤ 32 KiB.

Cuándo usar / cuándo no usar estas garantías#

  • Confía en ellas para: medir la salud de una fuente (tasa de rechazo), evitar duplicados por clave y recibir avisos de cambios de schema.
  • No cuentes con: una cola de cuarentena por fila con reenvío automático (no existe hoy), ni con el borrado físico propagado por watermark puro (consulta conceitos-modos-de-carga.md).

Relacionados#


Última revisión: 2026-09-08.

Enlaces relacionados