Conexões, Dados, Carga, Transformações, Operação, Revisão

Selo de estado: Preview (teto atual do produto) · Curso ACD-220 — Pipelines e medalhão Bronze/Silver/Gold · Aula 1 de 12 · Atualizado em 2026-10-04.

Objetivo#

Ao final desta aula você vai montar pipeline até a Revisão — percorrer as seis etapas da régua, ler o que cada uma decide e chegar à tela de publicação sabendo exatamente o que será congelado.

Vídeo#

Identificador no manifesto: acd-220-01-wizard-de-pipeline-6-etapas · duração-alvo 8 min · tela do produto: /sources.

Roteiro de gravação (5 capítulos):

Conteúdo#

Onde os pipelines moram

Em Orquestração → Pipelines (/sources). A lista mostra, por pipeline, o conector de origem, a agenda, a última sincronização e o volume estimado (~N GB/mês). O botão Conectar fonte abre a montagem a partir do catálogo de conectores. Partindo de uma conexão já salva, o atalho equivalente é Montar extração, no cartão da conexão em Dados → Conexões — e, se você abrir o assistente de conexão de dentro da montagem, ao salvar você volta para o mesmo rascunho com a conexão nova já selecionada.

Pipelines e Execuções são áreas do dono do workspace. Montar, revisar e publicar custa R$ 0; só executar consome nuvem.

A régua única de seis etapas

A mesma régua serve para extração e para relatório Gold. Uma etapa só destrava quando a anterior está válida, e o rodapé de cada uma diz qual problema bloqueia o avanço.

Etapa 1 — Conexões. O pipeline aponta para a conexão; trocar a senha na conexão vale para todos os pipelines que a usam. Existe a opção "— informar credenciais avulsas —" para casos pontuais, mas ela perde exatamente essa vantagem.

Etapa 2 — Dados. Cada recurso aparece num cartão recolhível com três sub-seções: Colunas detectadas (coluna, tipo, aceita nulo), Qualidade das colunas (barra de preenchido / vazio / não cabe no tipo, distintos, faixa e média) e Amostra dos dados. A sub-seção de qualidade abre sozinha quando alguma coluna tem célula que não cabe no tipo — e a tela avisa que essas células entram como nulo. Num CSV que ficou com 1 coluna só, o cartão fica vermelho e sugere o delimitador correto: quase sempre é delimitador errado, não arquivo torto.

Etapa 3 — Carga. O que entra já foi decidido; aqui se decide como entra. No topo, o cartão "Escrita no destino — efeito real" declara seis coisas em pt-BR: escrita, marca d'água, deduplicação, histórico fora da janela, deletes na origem e mudança de schema. Esse texto não é promessa de tela: vem do mesmo registro que o plano do executor usa. A aula 2 abre esse cartão linha por linha.

Etapa 4 — Transformações. São opcionais — um pipeline pode publicar só com a carga. Você monta cada tabela Silver num builder visual (tabela base, cruzamentos, colunas com conversão, coluna calculada, filtro) com prévia do SQL ao vivo. Ciclo e referência inválida no grafo são apontados na Revisão, ligados ao campo. Lógica em código que o editor visual não representa não é apagada por passar por aqui.

Etapa 5 — Operação. A agenda vale para o pipeline inteiro — Bronze, Silver e Gold rodam no mesmo ritmo. O campo de horário diz "Horário (UTC)", e a tela mostra as próximas cinco ocorrências carimbadas nos dois fusos (UTC e BRT), calculadas pela mesma função do agendador. Abaixo, os limites de execução: retentativas por tarefa, espera entre elas, timeout e execuções simultâneas. E a frase que mais economiza suporte: "Definir a agenda aqui não liga a agenda."

Etapa 6 — Revisão. Duas colunas equilibradas: à esquerda definição e destino, à direita DAG e operação. Cada bloco tem "Editar nesta seção", que leva à etapa do campo e devolve você à revisão sem perder escolha nenhuma. Os alertas descrevem o problema e apontam a etapa (por exemplo: "vendas: carga incremental sem coluna-chave de controle — a carga não sabe de onde continuar"). Junto do botão Publicar pipeline está a frase obrigatória: "Publicar cria a versão do pipeline. A agenda ficará desativada e nenhuma carga será iniciada."

Exemplo: a Comércio Aurora

Maria abre /sources e usa Montar extração no cartão da conexão Vendas — demonstração. Na etapa Dados ela marca vendas, produtos, clientes e filiais; a sub-seção de qualidade de vendas abre sozinha porque 312 células de valor não cabem no tipo numérico. Na Carga ela deixa produtos e filiais em Full, marca vendas como Append com atualizado_em e marca clientes.cpf como PII. Na Operação, 06:00 BRT = 09:00 UTC no campo. Na Revisão, o alerta sobre coluna-chave já sumiu, e ela lê o resumo antes de decidir publicar.

Erros comuns

Faça você mesmo#

No workspace de treino Aurora Varejo, como dono. Use só dados sintéticos — e não publique nesta aula.

1. Abra Orquestração → Pipelines (/sources) e leia a lista: conector, agenda, última sincronização e volume estimado por pipeline.
2. Use Conectar fonte e escolha a origem de vendas. Na etapa Conexões, selecione uma conexão salva em vez de informar credenciais avulsas.
3. Na etapa Dados, marque vendas e abra o cartão: leia Colunas detectadas, Qualidade das colunas (quantas células "não cabem no tipo") e a Amostra dos dados.
4. Avance para Carga e leia o cartão "Escrita no destino — efeito real" inteiro, sem mudar nada. Anote o que ele diz sobre deletes na origem.
5. Em Transformações, não crie nada — confirme que a etapa deixa avançar mesmo vazia.
6. Em Operação, digite 09:00 no campo Horário (UTC) e confira nas próximas cinco ocorrências que isso aparece como 06:00 BRT.
7. Chegue à Revisão, leia os blocos, use "Editar nesta seção" em Carga e volte. Leia a frase ao lado de Publicar pipeline e pare aí.

Você terminou quando o rascunho chega à Revisão sem alertas bloqueantes, você consegue dizer em uma frase o que cada uma das seis etapas decide, e o pipeline não foi publicado — nenhuma versão existe ainda.

Checagem rápida#

Três perguntas no final da aula, corrigidas no servidor. A aula só conta como concluída depois da checagem.

Documentação relacionada#

• primeiros-passos/primeira-ingestao
• orquestracao/publicar-e-versionar
• orquestracao/agenda-e-fuso

Capacidades ensinadas#

C04.6 — o selo exibido na aula é sempre o estado mais conservador entre as capacidades citadas; nada aqui é "GA".