O cru nunca se perde: colunas técnicas, partição, cluster, PII

Selo de estado: Preview (teto atual do produto) · Curso ACD-220 — Pipelines e medalhão Bronze/Silver/Gold · Aula 6 de 12 · Atualizado em 2026-10-04.

Objetivo#

Ao final desta aula você vai configurar partição/cluster e marcar PII — deixar a Bronze barata de consultar e o dado pessoal protegido, sem perder uma linha do cru.

Vídeo#

Identificador no manifesto: acd-220-06-bronze-camada-crua · duração-alvo 7 min · tela do produto: /sources.

Roteiro de gravação (5 capítulos):

Conteúdo#

Onde fica cada carimbo

Dois conjuntos de colunas técnicas convivem, e vale não confundir:

Partição: a decisão que mais barateia consulta

Na sub-seção Particionamento e colunas técnicas, o campo Coluna de partição lista todas as colunas com o tipo ao lado, e as de data/timestamp vêm marcadas "— data, ideal". A opção padrão é "— sem partição —". O texto da tela diz o motivo: "particionar por uma coluna de data deixa as consultas mais rápidas e baratas (lê só as partições necessárias)". Como o custo deriva dos bytes lidos, partição é a alavanca de FinOps mais direta que você tem na Bronze.

Quando as colunas só serão conhecidas no processamento (bancos em modo pull), a tela diz isso e não oferece partição agora — você volta a configurar no hub da fonte depois da primeira descoberta.

Clusterização: até quatro colunas, na ordem em que você marca

Clusterizar agrupa as linhas pelas colunas escolhidas, acelerando filtros e joins por elas. Três regras da tela:

1. Até 4 colunas. Ao atingir o limite, os outros chips ficam desabilitados.
2. A ordem importa — é a ordem em que você marca os chips.
3. Tipos aceitos: inteiros, texto, datas e booleanos. Números decimais (FLOAT64) não são aceitos — o chip aparece cinza e opaco, com o motivo no título.

Boas candidatas são colunas muito usadas em filtro (cliente_id, status). E uma dica que a etapa Carga reforça: quando a coluna-chave de controle do Append também é a coluna de partição (ou está no cluster), aparece o selo "coluna particionada — ideal para Append" — a janela do incremental passa a ler menos ainda.

PII: marcar é uma decisão de LGPD, não de estética

A sub-seção Colunas PII (anonimizadas) pede: "marque dados pessoais (CPF, e-mail, telefone, nome)". O efeito está escrito logo abaixo e é preciso: "eles ficam anonimizados nas consultas — só na nossa camada, sem alterar o BigQuery". Ou seja: a marcação não reescreve o dado no datalake; ela muda o que sai nas consultas e no profiling.

O produto sugere colunas pela leitura do nome (um chip extra diz "sugerida") e oferece "Marcar sugeridas (N)" / "Desmarcar sugeridas". Sugestão não é decisão: conferir a lista é trabalho seu.

O que a marcação muda no profiling (o perfil que o catálogo mostra de cada coluna):

E os tetos do profiling, que explicam por que uma tabela larguíssima aparece cortada com aviso: 50 colunas, exemplo de 60 caracteres, payload total ≤ 32 KiB.

Onde a Bronze mora

Cada workspace tem datasets próprios — <prefixo>_bronze, <prefixo>_silver, <prefixo>_gold — e uma área de landing gs://{bucket}/landing/{prefixo}/.... O prefixo deriva do workspace e é saneado para [a-zA-Z0-9_-]. Um cliente nunca cruza dataset ou bucket de outro: é invariante do produto, não configuração. No caminho de arquivo e SaaS, os brutos vão para a landing em NDJSON (um objeto por linha) e um único load job lê o conjunto de pedaços.

Exemplo: a Comércio Aurora

Em aurora_bronze, Maria configura vendas com partição em data_pedido e clusterização em filial_id e categoria (nessa ordem — os dashboards filtram por filial primeiro). valor é decimal, então o chip de cluster aparece cinza: não dá e não deveria. Em clientes, o produto já sugere cpf, email e telefone; ela usa Marcar sugeridas (3), confere a lista e acrescenta nome na mão. Depois, no catálogo, o perfil de cpf mostra exemplos ••• e nenhum mínimo/máximo — enquanto as 2.400 linhas cruas continuam intactas na Bronze.

Erros comuns

Faça você mesmo#

No workspace de treino Aurora Varejo, nas tabelas vendas e clientes, só com dados sintéticos.

1. Em /sources, abra o pipeline e vá à etapa Carga. Em vendas, abra Particionamento e colunas técnicas.
2. Em Coluna de partição, escolha data_pedido — confirme que ela aparece marcada "— data, ideal".
3. Em Clusterização (até 4 colunas), marque filial_id e depois categoria. Tente marcar valor e leia por que o chip está desabilitado.
4. Confirme que "Adicionar data/hora de inclusão" (_ingestao_em) está ligada; decida se precisa de _arquivo_origem e justifique.
5. Em clientes, abra Colunas PII (anonimizadas), use Marcar sugeridas e confira a lista: cpf tem de estar marcada. Acrescente nome na mão.
6. Publique e rode a carga. No Console de dados, confirme que a contagem bruta de clientes é a esperada — nada foi descartado na Bronze.
7. Abra o perfil de clientes no catálogo e confirme que cpf mostra ••• nos exemplos, sem mínimo/máximo nem distintos.

Você terminou quando vendas está particionada por data e clusterizada por duas colunas na ordem que você escolheu, clientes.cpf está marcada como PII, o perfil de cpf sai mascarado, e a contagem crua na Bronze continua completa.

Checagem rápida#

Três perguntas no final da aula, corrigidas no servidor. A aula só conta como concluída depois da checagem.

Documentação relacionada#

• data/pipeline-medalhao
• data/tutoriais/construir-bronze-silver-gold
• data/custo-limites-seguranca

Capacidades ensinadas#

C04.2 — o selo exibido na aula é sempre o estado mais conservador entre as capacidades citadas; nada aqui é "GA".