Estado: Preview — nenhum item é GA de produto. Métricas de nuvem (latência, custo faturado, uptime): NÃO MEDIDO. Dados de exemplo são sintéticos.
Leia antes:
README.md(vocabulário de estado + template). Esta página é conceitual: dá o mapa mental. O detalhe operacional vive nas páginas de referência (conectores.md,pipeline-medalhao.md) e os passo a passo emtutoriais/.
A ideia em uma frase#
O Ingestia pega dados que já existem no seu negócio (banco, planilha, ERP, arquivos), guarda uma cópia crua e auditável, limpa e organiza essa cópia, e no final entrega tabelas prontas (marts) para dashboards e perguntas em linguagem natural — tudo isolado por cliente (workspace).
O caminho de um dado (as 5 estações)#
Fonte → Landing → Bronze → Silver → Gold → Dashboard / Q&A
(cliente) (cópia crua) (verbatim) (limpo) (agregado)- Fonte — de onde o dado vem. Pode ser um banco (PostgreSQL, MySQL, SQL Server, Oracle, BigQuery), uma planilha (Google Sheets), um ERP/CRM (Omie, Bling, Conta Azul, Tiny, NF-e, Salesforce, HubSpot), anúncios (Meta Ads, Google Ads) ou arquivos (CSV, JSON, Parquet).
- Landing — a zona de pouso. Os brutos chegam à área de arquivos (landing) antes de qualquer transformação. É o "banco de imagens" do dado como ele chegou.
- Bronze — o dado carregado verbatim (cru, como texto), sem conversão, com
carimbos de auditoria (
_ingest_at,_source,_row). Nada é descartado aqui. - Silver — o dado limpo e tipado: regras de qualidade, deduplicação e
derivações (ex.:
receita = preço × quantidade). O que reprova nas regras é contado e fica de fora (a diferença nunca some em silêncio). - Gold — os datamarts agregados, prontos para consumo (receita por mês, por UF, por categoria, KPIs). É o que os dashboards e o Q&A leem.
Esse desenho de três camadas é o medalhão (Bronze/Silver/Gold), um padrão de engenharia de dados. Ele separa "o que chegou" de "o que está limpo" de "o que está pronto" — assim um erro de limpeza nunca destrói o dado original.
Duas formas de trazer o dado: push e pull#
O Ingestia trabalha com dois modelos de ingestão:
| Modelo | Como funciona | Exemplos de fonte |
|---|---|---|
| Pull ("Nós buscamos") | O Ingestia conecta na sua fonte e puxa os dados no horário agendado. | Banco de dados, BigQuery, ERP/CRM, anúncios, Google Sheets, object storage |
| Push ("Você deposita") | Você envia os arquivos para a landing e o Ingestia carrega no Bronze. | Upload de CSV / JSON / Parquet |
Fontes de arquivo (CSV/JSON/Parquet) aceitam os dois modos: você sobe o arquivo (push) ou aponta para um object storage e o Ingestia lê de lá (pull). Bancos e SaaS são sempre pull.
Como o dado é atualizado depois da 1ª carga#
Depois da primeira carga (que traz o histórico), cada atualização pode ser:
- Full (completa) — recalcula tudo. Sempre correta, mais cara. É o fallback seguro.
- Incremental por watermark — traz só o que é novo desde a última execução,
usando uma coluna crescente (data/
id) como "marca d'água". Muito mais barata. - Backfill — trazer um histórico maior sob demanda (ex.: os últimos 24 meses).
Honestidade: a carga incremental do Ingestia é por watermark (marca d'água), não CDC. CDC de verdade (captura de INSERT/UPDATE/DELETE do log da fonte) é Roadmap — não existe hoje. Detalhes e limitações em
conceitos-modos-de-carga.md.
Onde cada cliente mora (isolamento por workspace)#
Cada workspace (workspace) tem o seu próprio espaço, derivado de um prefix saneado:
- Datasets:
<prefix>_bronze,<prefix>_silver,<prefix>_gold. - Landing:
landing/{prefix}/...na área de arquivos.
Um cliente nunca lê o dataset ou o bucket de outro. Esse é um invariante que vale em todas as páginas de Dados. Segredos de conexão (senha, token, chave) são cifrados e redigidos em qualquer log ou mensagem de erro.
Glossário rápido#
| Termo | Significado |
|---|---|
| Fonte / Data source | Uma conexão configurada a um sistema de origem. |
| Conector | O adaptador que sabe falar com um tipo de fonte (ex.: PostgreSQL, Meta Ads). |
| Landing zone | Zona de pouso dos brutos na área de arquivos (landing) antes do Bronze. |
| Medalhão | O padrão Bronze → Silver → Gold. |
| Mart / datamart | Tabela agregada e pronta para consumo, na camada Gold. |
| Watermark | Marca d'água: o maior valor de uma coluna crescente já ingerido; base do incremental. |
| Backfill | Carga de um histórico maior que a janela incremental. |
| Pipeline | A sequência ingest → bronze → silver → gold → publish. |
| Workspace | O cliente isolado; dono dos seus datasets e buckets. |
| DLQ | Dead Letter Queue: fila de execuções que falharam de forma permanente. |
Por onde começar#
- Conectar uma fonte — comece por um banco ou uma planilha: conectar PostgreSQL · conectar BigQuery · importar um arquivo.
- Rodar um pipeline — leve o dado até o Gold: pipeline full.
- Deixar barato e fresco — atualize só o delta: pipeline incremental por watermark.
Relacionados#
- Catálogo de conectores por estado
- Pipeline medalhão Bronze/Silver/Gold
- Modos de carga: full, incremental por watermark e backfill
- Qualidade, rejeitados e quarentena
- Custo, limites e segurança por workspace
Última revisão: 2026-09-08.