Esta página es conceptual: te da el mapa mental. El detalle operativo vive en las páginas de referencia (
conectores.md,pipeline-medalhao.md) y los paso a paso entutoriais/.
La idea en una frase#
Ingestia toma datos que ya existen en tu negocio (base de datos, hoja de cálculo, ERP, archivos), guarda una copia cruda y auditable, limpia y organiza esa copia y, al final, entrega tablas listas (marts) para dashboards y preguntas en lenguaje natural — todo aislado por cliente (workspace).
El camino de un dato (las 5 estaciones)#
Fuente → Landing → Bronze → Silver → Gold → Dashboard / Q&A
(cliente) (copia cruda) (verbatim) (limpio) (agregado)- Fuente — de dónde viene el dato. Puede ser una base de datos (PostgreSQL, MySQL, SQL Server, Oracle, BigQuery), una hoja de cálculo (Google Sheets), un ERP/CRM (Omie, Bling, Conta Azul, Tiny, NF-e, Salesforce, HubSpot), anuncios (Meta Ads, Google Ads) o archivos (CSV, JSON, Parquet).
- Landing — la zona de aterrizaje. Los datos brutos llegan al área de archivos (landing) antes de cualquier transformación. Es el "banco de imágenes" del dato tal como llegó.
- Bronze — el dato cargado verbatim (crudo, como texto), sin conversión, con
sellos de auditoría (
_ingest_at,_source,_row). Aquí no se descarta nada. - Silver — el dato limpio y tipado: reglas de calidad, deduplicación y
derivaciones (p. ej.:
receita = preço × quantidade). Lo que no pasa las reglas se cuenta y queda fuera (la diferencia nunca desaparece en silencio). - Gold — los datamarts agregados, listos para consumo (ingresos por mes, por estado, por categoría, KPIs). Es lo que leen los dashboards y el Q&A.
Este diseño de tres capas es el medallón (Bronze/Silver/Gold), un patrón de ingeniería de datos. Separa "lo que llegó" de "lo que está limpio" de "lo que está listo" — así un error de limpieza nunca destruye el dato original.
Dos formas de traer el dato: push y pull#
Ingestia trabaja con dos modelos de ingesta:
| Modelo | Cómo funciona | Ejemplos de fuente |
|---|---|---|
| Pull ("Nosotros lo buscamos") | Ingestia se conecta a tu fuente y extrae los datos a la hora programada. | Base de datos, BigQuery, ERP/CRM, anuncios, Google Sheets, object storage |
| Push ("Tú lo depositas") | Tú envías los archivos a la landing e Ingestia los carga en Bronze. | Carga de CSV / JSON / Parquet |
Las fuentes de archivo (CSV/JSON/Parquet) aceptan los dos modos: subes el archivo (push) o apuntas a un object storage e Ingestia lee desde allí (pull). Las bases de datos y los SaaS son siempre pull.
Cómo se actualiza el dato después de la 1.ª carga#
Después de la primera carga (que trae el histórico), cada actualización puede ser:
- Full (completa) — recalcula todo. Siempre correcta, más cara. Es el fallback seguro.
- Incremental por watermark — trae solo lo nuevo desde la última ejecución,
usando una columna creciente (fecha/
id) como "marca de agua". Mucho más barata. - Backfill — traer un histórico mayor bajo demanda (p. ej.: los últimos 24 meses).
Y con qué frecuencia se ejecuta el pipeline es la cadencia:
- Lote — una vez al día, a una hora (el valor predeterminado).
- Micro-lote — cada 5 o 15 minutos, trayendo solo lo que cambió (planes Business y Scale). Es la opción de casi tiempo real. Ver Micro-lote.
Honestidad: la carga incremental de Ingestia es por watermark (marca de agua), no CDC. La captura continua de cambios (INSERT/UPDATE/DELETE leídos del log de la fuente, en tiempo real) todavía no está disponible. Detalles y limitaciones en
conceitos-modos-de-carga.md.
Dónde vive cada cliente (aislamiento por workspace)#
Cada workspace tiene su propio espacio, derivado de un prefix saneado:
- Datasets:
<prefix>_bronze,<prefix>_silver,<prefix>_gold. - Landing:
landing/{prefix}/...en el área de archivos.
Un cliente nunca lee el dataset o el bucket de otro. Esta es una invariante que vale en todas las páginas de Datos. Los secretos de conexión (contraseña, token, clave) se cifran y se redactan en cualquier log o mensaje de error.
Glosario rápido#
| Término | Significado |
|---|---|
| Fuente / Data source | Una conexión configurada a un sistema de origen. |
| Conector | El adaptador que sabe hablar con un tipo de fuente (p. ej.: PostgreSQL, Meta Ads). |
| Landing zone | Zona de aterrizaje de los datos brutos en el área de archivos (landing) antes del Bronze. |
| Medallón | El patrón Bronze → Silver → Gold. |
| Mart / datamart | Tabla agregada y lista para consumo, en la capa Gold. |
| Watermark | Marca de agua: el mayor valor de una columna creciente ya ingerido; base del incremental. |
| Backfill | Carga de un histórico mayor que la ventana incremental. |
| Pipeline | La secuencia ingest → bronze → silver → gold → publish. |
| Workspace | El cliente aislado; dueño de sus datasets y buckets. |
| DLQ | Dead Letter Queue: cola de ejecuciones que fallaron de forma permanente. |
Por dónde empezar#
- Conectar una fuente — empieza por una base de datos o una hoja de cálculo: conectar PostgreSQL · conectar BigQuery · importar un archivo.
- Ejecutar un pipeline — lleva el dato hasta el Gold: pipeline full.
- Mantenerlo barato y fresco — actualiza solo el delta: pipeline incremental por watermark.
Relacionados#
- Catálogo de conectores por estado
- Pipeline medallón Bronze/Silver/Gold
- Modos de carga: full, incremental por watermark y backfill
- Calidad, rechazados y cuarentena
- Costo, límites y seguridad por workspace
Última revisión: 2026-09-08.