O mart não quebra em silêncio

Selo de estado: Preview (teto atual do produto) · Curso ACD-220 — Pipelines e medalhão Bronze/Silver/Gold · Aula 10 de 12 · Atualizado em 2026-10-04.

Objetivo#

Ao final desta aula você vai diagnosticar drift e aplicar saneamento — ler a severidade de uma mudança de schema, saber o que o produto corrige sozinho e conduzir uma transição de tipo sem perder dado.

Vídeo#

Identificador no manifesto: acd-220-10-schema-drift-e-saneamento · duração-alvo 6 min · tela do produto: /sources.

Roteiro de gravação (4 capítulos):

Conteúdo#

O baseline: o que é schema e o que não é

A cada descoberta, o schema vira um baseline serializável com tabelas e colunas ordenadas por nome, guardando só {nome, tipo}. O que fica de fora de propósito: volume (número de linhas, tamanho). Volume não é schema — se entrasse, o baseline "mudaria" a cada estimativa e o drift viraria ruído.

A comparação é baseline × atual:

Só as tabelas presentes nos dois lados têm as colunas comparadas; tabela que existe só de um lado vira "nova" (aditiva) ou "removida" (atenção).

Saneamento: o que o produto corrige sem perguntar

O saneamento é o fallback do load. A ingestão agendada puxa arquivos dos sistemas do cliente direto para a landing, e chaves com acento, espaço ou vazias ("preço", "nome do cliente") derrubariam o carregamento com "Invalid field name". Quando o carregamento NDJSON falha, o arquivo é saneado e recarregado:

Essa última regra é a mais importante: o saneamento é conservador. Ele renomeia e reformata; ele nunca adivinha conteúdo.

Transição de tipo na Bronze: três passos, nenhum deles escreve antes do seu

O caso mais incômodo de drift é o tipo mudar na origem: a coluna no destino é DATE e a origem passou a mandar texto, ou o inverso. Acrescentar linha não muda o tipo de uma coluna que já existe, e o BigQuery recusaria valor a valor — então a janela é parada, não forçada. A jornada tem três passos:

1. Ver a incompatibilidade. Só leitura: o campo, o tipo atual no destino, o tipo que a origem mandou e a janela parada (início → fim). As linhas daquela janela ficam guardadas numa tabela de recepção, com o valor original preservado, e o destino não foi tocado. Os exemplos de formato mostrados são sintéticos — nenhum valor de cliente aparece ali; eles servem para você ver as duas formas que convivem na mesma coluna, porque é a convivência que produz a incompatibilidade.

2. Conferir a prévia. Também só leitura, e é aqui que se decide: tipo atual × tipo proposto, preservação dos valores (os números que a contagem de linhas não dá), consumidores afetados — ou explicitamente "não verificados", quando não foi possível checar —, custo estimado e teto, escrita prevista e o recurso de recuperação. Abrir esta tela e preparar a prévia não alteram tipo, não disparam carga e não ativam agenda; está escrito na tela e é conferido no servidor.

3. Acompanhar o resultado. Auditoria, identidade da operação, ponto de retorno — e o limite desse ponto de retorno, dito sem promessa que não se sustenta: um ponto de retorno é um clone de um instante, e o produto não chama isso de "restauração integral".

Exemplo: a Comércio Aurora

O ERP da Aurora acrescenta canal_venda em vendas: drift info, aditivo — o mart segue funcionando e Maria decide com calma se vai usar a coluna nova. Na mesma semana, data_pedido passa a chegar como texto "03/01/2026" numa coluna que no destino é data: drift de tipo mudado, severidade atenção, mart marcado como "quebra". A janela das 14h fica parada na tabela de recepção com os valores originais; Maria abre a prévia, vê que a conversão proposta preserva todos os valores e que 2 consumidores (um mart Gold e um painel) são afetados, confere o custo estimado contra o teto e aplica. Um mês depois o CRM remove telefone de clientes: atenção, e a transformação Silver que lia a coluna precisa ser ajustada antes da próxima carga.

Erros comuns

Faça você mesmo#

No workspace de treino Aurora Varejo, em vendas, só com dados sintéticos.

1. Rode uma carga de vendas e guarde o schema atual como referência (anote colunas e tipos).
2. Provoque um drift aditivo: acrescente na origem sintética uma coluna canal_venda e rode de novo. Confirme que a severidade é info e que o mart não foi marcado como "quebra".
3. Provoque um drift de atenção: remova (na origem sintética) uma coluna que a sua transformação Silver usa e rode. Confirme a severidade atenção e identifique qual mart é marcado como "quebra".
4. Ajuste a transformação Silver para o novo schema e rode novamente até a severidade voltar ao normal.
5. Exercite o saneamento: importe um CSV cujo cabeçalho tenha preço e nome do cliente. Depois da carga, veja no Console de dados com que nomes as colunas chegaram à Bronze.
6. Importe um JSON em formato de envelope ({meta: …, data: [ … ]}) e confirme que as linhas de dentro viraram as linhas da tabela.
7. Se houver uma incompatibilidade de tipo disponível no ambiente de treino, abra a jornada de transição e pare no passo 2: leia a prévia inteira (preservação de valores, consumidores, custo e teto) sem aplicar.

Você terminou quando você produziu um drift info e um drift atenção e sabe qual deles exige ação hoje, viu os nomes de coluna reescritos pelo saneamento na Bronze, e leu uma prévia de transição de tipo sem ter alterado nada.

Checagem rápida#

Três perguntas no final da aula, corrigidas no servidor. A aula só conta como concluída depois da checagem.

Documentação relacionada#

• data/pipeline-medalhao
• suporte/troubleshooting-pipeline-schema
• data/conceitos-qualidade-e-quarentena

Capacidades ensinadas#

C04.2 — o selo exibido na aula é sempre o estado mais conservador entre as capacidades citadas; nada aqui é "GA".