Conectar e publicar a v1 (agenda desligada)

Selo de estado: Preview (teto atual do produto) · Curso ACD-100 — Fundamentos Ingestia · Aula 7 de 10 · Atualizado em 2026-10-05.

Objetivo#

Ao final desta aula você vai executar o assistente de conexão e publicar v1 sem ativar agenda — cadastrar um acesso, montar o pipeline, publicar a versão 1 e provar que nada rodou até você mandar.

Vídeo#

Identificador no manifesto: acd-100-07-primeira-fonte-e-primeira-ingestao · duração-alvo 10 min · tela do produto: /overview.

Roteiro de gravação (6 capítulos):

#	Minutagem-alvo	Capítulo	Tela do produto
1	0:00–0:40	Abertura: título + selo. Os três contratos desta aula: salvar conexão não é executar, publicar não é executar, ativar agenda não recupera histórico.	`/conexoes`
2	0:40–3:00	Assistente de conexão, 4 passos: Sistema (catálogo de bancos com estado público) · Endereço e senha (os campos de acesso e a senha, no mesmo passo; Opções avançadas fechadas) · Testar (opcional; resultado em uma frase, capacidades em Ver detalhes; roda no servidor da aplicação) · Pronto (Salvar conexão). Os quatro estados de uma conexão na lista.	`/conexoes/nova`
3	3:00–4:00	Arquivo é mais simples: importar um CSV (push) — delimitador e área de upload; sem senha, sem cofre.	`/sources`
4	4:00–6:30	Montagem do pipeline, 6 etapas: Conexões · Dados · Carga · Transformações · Operação · Revisão. Ler a frase ao lado de Publicar pipeline. Resposta "Pipeline publicado — versão 1", selo Agenda desativada.	`/sources`
5	6:30–8:30	Painel Publicação e agenda: Versão 1 publicada; Revisar e publicar / Ativar agenda / Executar agora. Executar agora → Execuções (DAGs) → Execução → Tarefa → Tentativa → Logs; aba Grafo.	`/dags`
6	8:30–10:00	Conferir no Console de dados ("sucesso" não substitui a conferência); erros comuns; o "faça você mesmo".	`/overview`

Conteúdo#

Três decisões, três botões

Salvar uma conexão não inicia ingestão nenhuma e não cria pipeline. Publicar um pipeline cria a versão 1 e deixa a agenda desligada — nada é lido nem escrito. Executar agora e Ativar agenda são duas outras decisões, cada uma com o seu botão. E ativar a agenda não dispara recuperação histórica.

Antes de começar

Você precisa ser dono do workspace: Conexões, Pipelines e Execuções são áreas do dono.
Número de conexões por plano: Starter 3 · Growth 10 · Business 30 · Scale 100 · Enterprise sob medida. Antes de criar, olhe a lista — reutilizar evita cadastrar a mesma coisa duas vezes e gastar um slot.
Peça ao responsável pela origem um acesso somente leitura, adequado à tarefa.
Cadastrar, testar e salvar: R$ 0. Executar consome nuvem (créditos) e exige assinatura em dia — em atraso, a execução é bloqueada com mensagem e link para Planos.
Escolha a origem no catálogo de conectores e leia a ficha: o estado público do cartão (Disponível · Acesso limitado · Planejado) é a verdade. Um item Planejado não aparece como opção e não é uma conexão utilizável. Esta aula não lista conectores por nome de propósito — o catálogo muda, a regra não.

A conexão: um assistente de quatro passos

Em Dados → Conexões, Nova conexão abre o assistente. A régua fica visível o tempo todo, e Testar e Pronto só abrem quando Endereço e senha está válido.

#	Passo	O que você faz nele
1	Sistema	Escolhe o banco de dados, no catálogo com o estado público de cada um. Arquivo não passa por aqui: o rodapé manda criar um pipeline e enviar o arquivo.
2	Endereço e senha	Nome legível (ex.: Vendas — demonstração), endereço, porta, banco, usuário e a senha — tudo no mesmo passo; schema, TLS e rede ficam em Opções avançadas, fechadas, com o padrão seguro. A senha é guardada cifrada e nunca mais aparece na tela — nem para você; para mudar depois, Trocar a senha. Nunca coloque senha ou dado pessoal no nome.
3	Testar	Opcional — se pular com Continuar sem testar, a conexão fica Nunca testada, e ausência de teste não é aprovação. O resultado é uma frase (Conexão funcionando / Não conseguimos entrar); em Ver detalhes do teste (para o TI) ele se abre por capacidade: Conectividade, Autenticação e Listagem-leitura, cada uma como OK, Falhou, Não testado ou Não suportado. Escrita não é testada.
4	Pronto	Confere o que será salvo. Nenhum valor de credencial aparece aqui, nem mascarado — só a situação da senha. Use Salvar conexão (ou Salvar e usar no pipeline, se você veio de um rascunho).

O aviso da própria tela que vale a aula está junto do resultado do teste: ele roda no servidor da aplicação, não no executor dos pipelines — "as execuções agendadas saem de outra máquina da nossa nuvem" —, então um verde aqui não prova que a execução agendada alcança a origem. São duas redes para liberar, e a aula 4 de ACD-210 trata disso em detalhe.

Cancelar volta ao catálogo, descarta os segredos digitados e não deixa conexão nenhuma para trás. A conexão é criada uma vez e reutilizada por quantos pipelines quiser: trocar a senha em um lugar vale para todos.

Na lista, cada conexão mostra quatro fatos independentes: Cadastro (Rascunho · Ativa · Arquivada), Validação (Validada ✓ · Falhou no teste · Testando… · Validação obsoleta · Não testada), Credencial (configurada · expirada · revogada · inacessível · sem credencial) e Última ingestão (OK · falhou · em execução · Nunca ingeriu · Sem pipeline). Uma conexão pode estar Ativa e nunca ter ingerido nada — e isso está certo.

Arquivo é diferente (e mais simples)

Para um CSV, JSON ou Parquet não há senha nem cofre: é o modo push ("Você deposita"). Em Orquestração → Pipelines, Conectar fonte abre o catálogo; na categoria Arquivos, escolha CSV e informe o Delimitador (Vírgula, Ponto e vírgula, Tab ou Pipe) — ; é o comum no Brasil. Envie o arquivo pela área de upload. Quando você mandar processar, a trilha é validar → landing → bronze → registrar: o arquivo entra verbatim na Bronze, com _ingest_at, _source, _row. Cabeçalho com acento ou espaço? O saneamento automático reescreve o nome e recarrega, sem inventar dado.

O pipeline: seis etapas e uma publicação

A montagem tem uma régua única de seis etapas, a mesma para extração e para relatório Gold:

#	Etapa	O que você decide
1	Conexões	Qual conexão salva o pipeline vai referenciar. A credencial não é copiada. ("— informar credenciais avulsas —" existe, mas perde a vantagem de trocar a senha em um lugar só.)
2	Dados	Quais tabelas, arquivos ou endpoints entram, com campos, tipos e amostra quando autorizada.
3	Carga	O modo de carga e o efeito no destino: substituir, mesclar e acrescentar não são a mesma coisa.
4	Transformações	As etapas Silver/Gold e as dependências no grafo.
5	Operação	Agenda, limites, tentativas e alertas.
6	Revisão	Destino, escrita, DAG, agenda, limites e alertas — e o botão Publicar pipeline.

Partindo de uma conexão já salva, o atalho é Montar extração, no cartão da conexão.

Ao lado de Publicar pipeline, antes do clique, a tela avisa: "Publicar cria a versão do pipeline. A agenda ficará desativada e nenhuma carga será iniciada." Publicado, a resposta é "Pipeline publicado — versão 1", com o selo Agenda desativada e a frase "A versão 1 da definição está congelada. Nenhuma execução foi criada, nenhuma carga rodou e nenhum intervalo anterior foi recuperado." As três ações seguintes — Executar agora, Ativar agenda e Abrir operação — aparecem separadas.

Na tela do pipeline, o painel Publicação e agenda repete o estado: Versão 1 publicada, agenda desligada e as ações Revisar e publicar, Ativar agenda e Executar agora. O botão do meio só vira Pausar agenda depois que você a ligar. O selo pode dizer "Agenda pausada" e o cartão "Agenda DESLIGADA": é a mesma coisa — nada é despachado até você ativar.

Executar, acompanhar, conferir

Executar agora pede que você revise contexto, versão e destino antes de confirmar. Em Orquestração → Execuções (DAGs), a lista separa falha na última execução (ação agora) de falhas no período (histórico) e carimba horários com fuso explícito. Abra a execução e desça Execução → Tarefa → Tentativa → Logs: o log é daquela tentativa. A aba Grafo mostra as dependências.

Um "sucesso" não substitui a conferência: em Dados → Console de dados, valide que as tabelas existem, que a contagem bate com o seu conjunto de teste e que chaves e valores conhecidos estão lá.

Exemplo: a Comércio Aurora

João cadastra a conexão Vendas — demonstração com o banco da loja: Rede OK, Autenticação OK, Leitura OK → Salvar conexão (testada ✓). Na lista: Ativa · Validada ✓ · Credencial configurada · Sem pipeline. Pelo atalho Montar extração ele percorre as seis etapas, publica a versão 1 e vê Agenda desativada. Só então usa Executar agora, acompanha em Execuções e confere a contagem no Console. A agenda continua desligada — porque ele não a ativou.

Erros comuns

Sintoma	O que conferir	Próxima ação
Publiquei e nada rodou	O estado da agenda	Comportamento esperado — use Executar agora ou Ativar agenda
Rede falhou no teste	Endereço, porta, allowlist	Libere o servidor da aplicação e o executor
Autentica, mas leitura falhou	Permissões no schema/tabela	Peça só o acesso necessário (somente leitura)
Falha de autenticação na execução	A conexão referenciada	Corrija na conexão; não recadastre a senha no pipeline
Colunas todas numa só	Delimitador errado no CSV	Selecione o delimitador correto
Não vejo Conexões no menu	Seu papel	Conexões é área do dono
Reexecutei e duplicou	Modo de carga e escopo da recuperação	Revise o efeito no destino (etapa Carga)

O que é Preview aqui

O motor de transformação é GA-candidato (determinístico, versionado, com shadow run e rollback provados). A extração real de uma fonte externa depende de credencial do cliente e a execução real em BigQuery depende de nuvem — ambas Preview, sem SLA e sem tempo de execução publicado. Se um conector estiver bloqueado para configuração, o produto recusa ao salvar a fonte, com o motivo — ele não finge.

Faça você mesmo#

No workspace de treino Aurora Varejo, como dono. Use só dados sintéticos.

Em Dados → Conexões (/conexoes), leia os quatro estados das conexões existentes. Use Nova conexão, escolha um conector de banco e vá até o passo Endereço e senha só para ler os avisos (o bloco da senha e a frase do painel lateral sobre onde ela fica). Use Cancelar — nenhuma conexão fica para trás.
Prepare vendas.csv com as três linhas do exemplo da aula 6 (P-1001, P-1002, P-1003), delimitador ;.
Em Orquestração → Pipelines (/sources), use Conectar fonte; na categoria Arquivos escolha CSV, Delimitador Ponto e vírgula, e envie o arquivo na área de upload. Não mande processar ainda.
Siga a régua de seis etapas até Revisão, leia a frase ao lado de Publicar pipeline e publique. Confirme a resposta "Pipeline publicado — versão 1" com Agenda desativada.
Prove que nada rodou: em Orquestração → Execuções (DAGs) (/dags) não há execução nova para esse pipeline; na tela do pipeline, o painel Publicação e agenda mostra Versão 1 publicada e o botão do meio é Ativar agenda.
Agora use Executar agora, revise contexto, versão e destino e confirme. Em Execuções, desça Execução → Tarefa → Tentativa → Logs.
Em Dados → Console de dados, confira que a tabela existe e que a Bronze tem 3 linhas — a contagem, não só o selo verde.

Você terminou quando a versão 1 está publicada com a agenda desligada, você comprovou zero execuções antes do Executar agora e uma execução rastreável depois, e a contagem de linhas foi conferida no Console.

Checagem rápida#

Três perguntas no final da aula, corrigidas no servidor. A aula só conta como concluída depois da checagem.

Documentação relacionada#

Capacidades ensinadas#

C04.6 — o selo exibido na aula é sempre o estado mais conservador entre as capacidades citadas; nada aqui é "GA".