Selo de estado:
Preview(teto atual do produto) · Curso ACD-230 — Operação: orquestração, falhas e recuperação · Aula 2 de 8 · Atualizado em 2026-10-04.
Objetivo#
Ao final desta aula você vai descer da lista de DAGs até o log da tentativa certa, dizendo sem adivinhar qual versão rodou, qual tarefa falhou e com qual mensagem.
Vídeo#
Identificador no manifesto: acd-230-02-acompanhar-execucao · duração-alvo 7 min · tela do produto: /dags.
Roteiro (5 capítulos):
| # | Minutagem-alvo | Capítulo | Rota do produto |
|---|---|---|---|
| 1 | 0:00–0:50 | Os quatro níveis: DAG (o desenho) → Execução (a rodada) → Tarefa (o passo) → Tentativa (a investida). O log pertence à tentativa. | /dags |
| 2 | 0:50–2:20 | A lista: Falha na última execução × Falhas no período; selo de agenda; Próxima execução; filtro de data; Ver execuções. | /dags |
| 3 | 2:20–4:00 | Dentro da execução: ID da execução, Versão da definição, Tipo de execução (Manual (alguém mandou rodar) × agendada), Linhas carregadas, a Grade de tarefas. | /dags/[id] |
| 4 | 4:00–5:40 | A tarefa e a tentativa: cabeçalho Logs da tarefa … · tentativa N × Log agregado da execução — sem separação por tarefa ou tentativa. A aba Grafo e o Ver query. | /dags/[id] |
| 5 | 5:40–7:00 | Conferir no destino: "verde" não é conferência. Os três erros do curso; o "faça você mesmo". | /sources/[id] |
Conteúdo#
O log pertence à
tentativa, não à execução Ler o log da tentativa errada é a causa mais comum de diagnóstico errado. Uma tarefa que falhou e foi repetida tem mais de uma tentativa, e cada uma tem o seu log. A tela diz qual você está lendo: o cabeçalho Logs da tarefa … · tentativa N é específico; Log agregado da execução — sem separação por tarefa ou tentativa avisa que ali você está vendo tudo junto.
O conceito: quatro níveis, quatro significados
| Nível | O que é | Pergunta que ele responde |
|---|---|---|
| DAG | O desenho do pipeline: as tarefas e as dependências entre elas | "Quem depende de quem?" |
| Execução | Uma rodada concreta da DAG, com início, fim e resultado | "O que aconteceu naquela rodada das 06:00?" |
| Tarefa | Um passo dentro da execução (extrair, transformar, materializar) | "Qual passo quebrou?" |
| Tentativa | Uma investida daquela tarefa | "Em qual repetição, e com qual mensagem?" |
Esses níveis não são decoração de interface: cada um tem um dono diferente do problema. Uma execução vermelha pode ter uma única tarefa vermelha e dez verdes; essa tarefa pode ter duas tentativas, a primeira com um timeout de rede e a segunda com um erro de permissão. Diagnosticar a execução inteira como "falha de rede" porque foi isso que você leu primeiro é o jeito mais rápido de reexecutar sem corrigir nada.
As telas e os botões reais
Em Orquestração → Execuções (DAGs) (/dags) está o histórico. A lista separa, de propósito, Falha na última execução — o que pede ação agora — de Falhas no período, que é histórico e não exige nada hoje. Cada linha mostra o selo de agenda (Agenda ativa, Agenda pausada, Sem agenda: só execução manual), a Próxima execução quando existe, e um atalho Ver execuções que abre as rodadas sem você sair da lista. Os horários aparecem no fuso de Brasília com a sigla BRT e o equivalente em UTC: não compare duas execuções só porque o nome do pipeline é o mesmo.
Abrindo a execução (/dags/[id]), o cabeçalho te dá o contexto que todo diagnóstico precisa: ID da execução, Versão da definição (qual definição congelada rodou), Tipo de execução — Manual (alguém mandou rodar) ou agendada —, Início, Duração e Linhas carregadas. A Grade lista as tarefas com o seu estado; a aba Grafo mostra as setas entre elas, com Modo amplo para pipelines grandes. Selecionada a tarefa, você escolhe a tentativa e abre os Logs. Quando a tarefa gerou SQL, o Ver query mostra a consulta real; tarefas Bronze de arquivo não geram SQL, e a tela diz isso em vez de mostrar um painel vazio.
Tarefa "pendente" há muito tempo
Antes de abrir chamado, confira o Grafo: uma tarefa só roda quando as anteriores concluem. Pode não ser lentidão — pode ser dependência, ou limite de concorrência. A aula 5 trata da porta de dependência.
Exemplo: a Comércio Aurora
A execução das 06:00 do pipeline de vendas aparece em /dags com Falha na última execução. Maria abre a execução: Versão da definição 3, tipo agendada, 12 tarefas, uma vermelha — bronze:tb_vendas. Ela clica na tarefa e vê duas tentativas. A tentativa 1 trouxe ETIMEDOUT (a rede do ERP oscilou); a tentativa 2, a que realmente encerrou a tarefa, trouxe um erro de coluna recusada pelo BigQuery. Se Maria tivesse lido só a tentativa 1 — ou só o log agregado da execução — ela teria concluído "instabilidade de rede" e reexecutado sem corrigir nada. Lendo a tentativa certa, ela sabe exatamente o que arrumar antes de recuperar (aula 4). Depois de corrigir, ela confere no destino: a conclusão da DAG não garante que o painel já atualizou.
Erros comuns
| Sintoma | Causa provável | Próxima ação |
|---|---|---|
| Log não bate com o erro | Log da tarefa ou da tentativa errada — ou leitura do log agregado da execução | Troque de tentativa e confirme o cabeçalho antes de concluir |
| Execução verde, painel vazio | Destino, materialização e vínculo do painel | "Verde" não substitui conferência; valide o destino |
| Tarefa "pendente" há muito tempo | Dependência não concluída ou limite de concorrência | Confira a aba Grafo |
| Falha de autenticação | A conexão referenciada | Corrija na conexão, não recadastre a senha no pipeline |
| Confundi pausar com executar | A lista mostra Agenda pausada, mas há execuções recentes porque alguém usou Executar agora | Leia o Tipo de execução: Manual (alguém mandou rodar) ≠ agendada |
| Reexecutei e duplicou linhas | Escopo escolhido na recuperação maior do que o necessário | Leia a prévia antes de confirmar (aula 4) |
Estado do produto
A hierarquia execução → tarefa → tentativa → log, a separação entre falha atual e falha histórica e a rotulagem de fuso são determinísticas e cobertas por testes. O teto da plataforma continua Preview: não há SLA de disponibilidade da tela, a latência real de nuvem é NÃO MEDIDO e a retenção de logs segue a política de governança e LGPD. Consultar execuções, tarefas, tentativas e logs custa R$ 0 — diagnosticar nunca é a parte cara.
Faça você mesmo#
No workspace de treino Aurora Varejo (abra /dags no console), como dono. Meta: localizar o log de uma tarefa específica.
- Em
/dags, identifique um pipeline com Falha na última execução e outro com apenas Falhas no período. Explique para você mesmo por que só o primeiro pede ação hoje. - Abra a execução mais recente desse pipeline e anote três coisas do cabeçalho: ID da execução, Versão da definição e Tipo de execução.
- Na Grade, localize a tarefa com estado de falha e clique nela. Confirme que o cabeçalho passou a citar a tarefa.
- Se houver mais de uma tentativa, abra a tentativa 1 e depois a última. Compare as duas mensagens: elas podem ter causas diferentes.
- Confirme que o título do painel de logs diz Logs da tarefa … · tentativa N (e não o log agregado da execução).
- Abra a aba Grafo e identifique quais tarefas vêm depois da que falhou.
- Quando a tarefa tiver SQL, use Ver query e confira que a consulta é a daquela tarefa; em tarefa Bronze de arquivo, leia o aviso de que não há SQL registrado.
Você terminou quando você conseguir dizer, citando a tela: qual versão rodou, se a execução foi manual ou agendada, qual tarefa falhou, em qual tentativa e com qual mensagem exata.
Checagem rápida#
Três perguntas no final da aula, corrigidas no servidor. A aula só conta como concluída depois da checagem.
Documentação relacionada#
Capacidades ensinadas#
(conceitual — sem capacidade específica da matriz) — o selo exibido na aula é sempre o estado mais conservador entre as capacidades citadas; nada aqui é "GA".