Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-10-05

Cómo fluyen los datos en Ingestia (visión general)

El camino de punta a punta de un dato en Ingestia — desde la fuente del cliente hasta los marts Gold y los dashboards.

En esta página (8)

Esta página es conceptual: te da el mapa mental. El detalle operativo vive en las páginas de referencia (conectores.md, pipeline-medalhao.md) y los paso a paso en tutoriais/.


La idea en una frase#

Ingestia toma datos que ya existen en tu negocio (base de datos, hoja de cálculo, ERP, archivos), guarda una copia cruda y auditable, limpia y organiza esa copia y, al final, entrega tablas listas (marts) para dashboards y preguntas en lenguaje natural — todo aislado por cliente (workspace).

El camino de un dato (las 5 estaciones)#

código
Fuente → Landing → Bronze → Silver → Gold → Dashboard / Q&A
(cliente) (copia cruda) (verbatim) (limpio) (agregado)
  1. Fuente — de dónde viene el dato. Puede ser una base de datos (PostgreSQL, MySQL, SQL Server, Oracle, BigQuery), una hoja de cálculo (Google Sheets), un ERP/CRM (Omie, Bling, Conta Azul, Tiny, NF-e, Salesforce, HubSpot), anuncios (Meta Ads, Google Ads) o archivos (CSV, JSON, Parquet).
  2. Landing — la zona de aterrizaje. Los datos brutos llegan al área de archivos (landing) antes de cualquier transformación. Es el "banco de imágenes" del dato tal como llegó.
  3. Bronze — el dato cargado verbatim (crudo, como texto), sin conversión, con sellos de auditoría (_ingest_at, _source, _row). Aquí no se descarta nada.
  4. Silver — el dato limpio y tipado: reglas de calidad, deduplicación y derivaciones (p. ej.: receita = preço × quantidade). Lo que no pasa las reglas se cuenta y queda fuera (la diferencia nunca desaparece en silencio).
  5. Gold — los datamarts agregados, listos para consumo (ingresos por mes, por estado, por categoría, KPIs). Es lo que leen los dashboards y el Q&A.

Este diseño de tres capas es el medallón (Bronze/Silver/Gold), un patrón de ingeniería de datos. Separa "lo que llegó" de "lo que está limpio" de "lo que está listo" — así un error de limpieza nunca destruye el dato original.

Dos formas de traer el dato: push y pull#

Ingestia trabaja con dos modelos de ingesta:

ModeloCómo funcionaEjemplos de fuente
Pull ("Nosotros lo buscamos")Ingestia se conecta a tu fuente y extrae los datos a la hora programada.Base de datos, BigQuery, ERP/CRM, anuncios, Google Sheets, object storage
Push ("Tú lo depositas")Tú envías los archivos a la landing e Ingestia los carga en Bronze.Carga de CSV / JSON / Parquet

Las fuentes de archivo (CSV/JSON/Parquet) aceptan los dos modos: subes el archivo (push) o apuntas a un object storage e Ingestia lee desde allí (pull). Las bases de datos y los SaaS son siempre pull.

Cómo se actualiza el dato después de la 1.ª carga#

Después de la primera carga (que trae el histórico), cada actualización puede ser:

  • Full (completa) — recalcula todo. Siempre correcta, más cara. Es el fallback seguro.
  • Incremental por watermark — trae solo lo nuevo desde la última ejecución, usando una columna creciente (fecha/id) como "marca de agua". Mucho más barata.
  • Backfill — traer un histórico mayor bajo demanda (p. ej.: los últimos 24 meses).

Y con qué frecuencia se ejecuta el pipeline es la cadencia:

  • Lote — una vez al día, a una hora (el valor predeterminado).
  • Micro-lote — cada 5 o 15 minutos, trayendo solo lo que cambió (planes Business y Scale). Es la opción de casi tiempo real. Ver Micro-lote.

Honestidad: la carga incremental de Ingestia es por watermark (marca de agua), no CDC. La captura continua de cambios (INSERT/UPDATE/DELETE leídos del log de la fuente, en tiempo real) todavía no está disponible. Detalles y limitaciones en conceitos-modos-de-carga.md.

Dónde vive cada cliente (aislamiento por workspace)#

Cada workspace tiene su propio espacio, derivado de un prefix saneado:

  • Datasets: <prefix>_bronze, <prefix>_silver, <prefix>_gold.
  • Landing: landing/{prefix}/... en el área de archivos.

Un cliente nunca lee el dataset o el bucket de otro. Esta es una invariante que vale en todas las páginas de Datos. Los secretos de conexión (contraseña, token, clave) se cifran y se redactan en cualquier log o mensaje de error.

Glosario rápido#

TérminoSignificado
Fuente / Data sourceUna conexión configurada a un sistema de origen.
ConectorEl adaptador que sabe hablar con un tipo de fuente (p. ej.: PostgreSQL, Meta Ads).
Landing zoneZona de aterrizaje de los datos brutos en el área de archivos (landing) antes del Bronze.
MedallónEl patrón Bronze → Silver → Gold.
Mart / datamartTabla agregada y lista para consumo, en la capa Gold.
WatermarkMarca de agua: el mayor valor de una columna creciente ya ingerido; base del incremental.
BackfillCarga de un histórico mayor que la ventana incremental.
PipelineLa secuencia ingest → bronze → silver → gold → publish.
WorkspaceEl cliente aislado; dueño de sus datasets y buckets.
DLQDead Letter Queue: cola de ejecuciones que fallaron de forma permanente.

Por dónde empezar#

  1. Conectar una fuente — empieza por una base de datos o una hoja de cálculo: conectar PostgreSQL · conectar BigQuery · importar un archivo.
  2. Ejecutar un pipeline — lleva el dato hasta el Gold: pipeline full.
  3. Mantenerlo barato y fresco — actualiza solo el delta: pipeline incremental por watermark.

Relacionados#


Última revisión: 2026-09-08.

Enlaces relacionados