Estado: Preview — nenhum item é GA de produto. A execução real em nuvem (datalake e worker), custo faturado e latência são NÃO MEDIDO. Todos os exemplos são sintéticos (domínios
.example, credenciais fictícias).
Leia antes: Como os dados fluem (visão geral). A referência conceitual e de estado vive nas páginas de
data/; aqui estão os passo a passo.
Conectar uma fonte#
| Tutorial | Cobre |
|---|---|
| Conectar PostgreSQL | Banco relacional por pull, teste de conexão, SSL, rede (allowlist/VPN/SSH) |
| Conectar BigQuery | BigQuery do cliente como fonte, projeto de dados × billing, service account |
| Importar um arquivo | Push de CSV/JSON/Parquet para a landing e carga no Bronze |
Rodar o pipeline#
| Tutorial | Cobre |
|---|---|
| Criar pipeline full | Carga completa fonte → Bronze → Silver → Gold → publish |
| Criar pipeline incremental (watermark) | Delta por marca d'água (KEYSET/upsert); não é CDC |
| Executar backfill | Histórico anterior à janela; full pontual, janela ampla, checkpoint |
| Construir Bronze/Silver/Gold | O medalhão camada a camada, com transformações versionadas |
| Acrescentar uma coluna numa tabela Silver ou Gold | Levar um dado novo (ex.: clicks) para uma tabela pronta: editar a receita, executar e atualizar o painel |
Qualidade e falhas#
| Tutorial | Cobre |
|---|---|
| Criar validação de qualidade | Regras da Silver, deduplicação, rejeitados, schema drift |
| Tratar falha e DLQ | Retry com backoff, DLQ, reconciliação de camadas |
Sequência sugerida para quem está começando#
- Conecte uma fonte — comece por um banco, o BigQuery ou um arquivo.
- Rode um pipeline full para levar o dado até o Gold.
- Valide a qualidade e ajuste as regras.
- Otimize com incremental por watermark e traga o histórico com backfill.
- Prepare-se para falhas com o guia de DLQ.
Convenções destes tutoriais#
- Honestidade primeiro: nada aqui promete recurso inexistente. Carga incremental é por watermark (CDC é Roadmap). Amazon S3 e puxar bucket GCS do cliente são Roadmap; Azure Blob é Preview.
- Exemplos sintéticos: hosts
*.example, projetos/credenciais fictícios, zero PII. - Estado real: o limite atual do produto é Preview/GA-candidato — veja o selo de cada página.
Última revisão: 2026-09-08.