Pular para o conteúdo
Atualizado em 2026-09-08

Tutoriais de Dados — passo a passo

Índice dos tutoriais práticos da camada de Dados — conectar fontes, rodar pipelines, backfill, qualidade e tratamento de falhas.

Nesta página (5)

Todos os exemplos são sintéticos (domínios .example, credenciais fictícias).

Leia antes: Como os dados fluem (visão geral). A referência conceitual e de estado vive nas páginas de data/; aqui estão os passo a passo.


Conectar uma fonte#

TutorialCobre
Conectar PostgreSQLBanco relacional por pull, teste de conexão, SSL, rede (allowlist/VPN/SSH)
Conectar BigQueryBigQuery do cliente como fonte, projeto de dados × billing, service account
Importar um arquivoPush de CSV/JSON/Parquet para a landing e carga no Bronze
Conectar uma API REST genéricaSistema sem conector pronto: URL, caminho da lista, paginação (página/offset/URL), token Bearer, colunas descobertas

Rodar o pipeline#

TutorialCobre
Criar pipeline fullCarga completa fonte → Bronze → Silver → Gold → publish
Criar pipeline incremental (watermark)Delta por marca d'água (KEYSET; na Bronze é DELETE da janela + acréscimo); não é CDC
Executar backfillHistórico anterior à janela; full pontual, janela ampla, checkpoint
Construir Bronze/Silver/GoldO medalhão camada a camada, com transformações versionadas
Acrescentar uma coluna numa tabela Silver ou GoldLevar um dado novo (ex.: clicks) para uma tabela pronta: editar a receita, executar e atualizar o painel

Qualidade e falhas#

TutorialCobre
Criar validação de qualidadeRegras da Silver, deduplicação, rejeitados, schema drift
Tratar falha e DLQRetry com backoff, DLQ, reconciliação de camadas

Sequência sugerida para quem está começando#

  1. Conecte uma fonte — comece por um banco, o BigQuery ou um arquivo.
  2. Rode um pipeline full para levar o dado até o Gold.
  3. Valide a qualidade e ajuste as regras.
  4. Otimize com incremental por watermark e traga o histórico com backfill.
  5. Prepare-se para falhas com o guia de DLQ.

Convenções destes tutoriais#

  • Honestidade primeiro: nada aqui promete recurso inexistente. Carga incremental é por watermark (CDC é Roadmap). Amazon S3, GCS e Azure Blob Storage estão em Acesso limitado (a página de cada conector diz a condição).
  • Exemplos sintéticos: hosts *.example, projetos/credenciais fictícios, zero PII.

Última revisão: 2026-09-08.

Links relacionados