Motor de custo e teto de bytes faturáveis

Selo de estado: Preview (teto atual do produto) · Curso ACD-220 — Pipelines e medalhão Bronze/Silver/Gold · Aula 12 de 12 · Atualizado em 2026-10-04.

Objetivo#

Ao final desta aula você vai estimar GB/mês e configurar limites — ler a estimativa de custo do seu pipeline, saber o que o teto de bytes faturáveis protege e distinguir estimativa de fatura.

Vídeo#

Identificador no manifesto: acd-220-12-custo-e-teto-de-bytes · duração-alvo 6 min · tela do produto: /sources.

Roteiro de gravação (4 capítulos):

Conteúdo#

Como o custo é calculado

O custo deriva dos bytes LIDOS pela consulta — não das linhas devolvidas —, como o modelo sob demanda do BigQuery. As constantes do produto:

E há uma regra de negócio do ingestia.io que difere do BigQuery: cobra-se toda consulta. Não existe franquia gratuita, e nenhuma consulta custa R$ 0,00. O cálculo é:

faturado = max(bytes lidos, nº de tabelas × 10 MB, 10 MB)
US$      = faturado / 2^40 × 6,25
R$       = US$ × 5,2

A estimativa devolve bytes faturados, TiB, dólar e real, formatados em pt-BR.

O teto de bytes faturáveis

Toda consulta somente-leitura ao workspace roda sempre com um teto de bytes faturáveis: ele aborta a consulta antes de ela estourar o orçamento. O padrão é 1 GiB por consulta (configurável por variável de ambiente do ambiente), com southamerica-east1 como região e rótulos de workspace para atribuir o custo no relatório de faturamento. Há também um timeout padrão de 120 s. As consultas são somente-leitura e usam parâmetros nomeados no caminho de texto-para-SQL (anti-injeção).

Isso é uma rede de proteção, não um orçamento: uma consulta que leria 40 GiB falha com aviso em vez de aparecer na fatura.

Os limites que você configura

Na etapa Operação do pipeline, quatro campos gravam a política de execução na definição:

A tela é honesta sobre o alcance disso: "estes limites descrevem a política do pipeline; o executor aplica o que a sua infraestrutura suporta — o que não for suportado é registrado no histórico da execução, não escondido."

Volume estimado (GB/mês): de onde vem e para onde vai

Cada pipeline carrega um volume estimado em GB/mês. Ele aparece em três lugares: no cartão do pipeline na lista (~N GB/mês), no bloco Limites da Revisão antes de publicar — com o aviso de que é "estimativa do catálogo, não medição desta origem" — e no snapshot da definição publicada (gbMesEstimado), onde entra no diff entre versões (Volume estimado: 5 → 12 GB/mês.).

Esse número é o insumo da previsão de custo. Ele é semeado pelo padrão do conector escolhido e deve ser ajustado quando você conhece o volume real da sua origem — uma estimativa errada aqui produz uma previsão errada lá.

A tela Custos e previsão

/costs responde "quanto isto deve custar por mês". É área do dono. Quatro cartões: Assinatura (valor fixo do plano); Consumo de infraestrutura previsto, com a faixa P50–P90 (do provável ao conservador); Taxa de plataforma / spread (opcional, só quando a operação de nuvem é intermediada); e Total previsto/mês. Abaixo, a composição do consumo por componente (ingestão, armazenamento, consultas de atualização de painéis, aceleração) e a projeção de 6 meses, com a assinatura fixa somada a um consumo crescendo a uma taxa estimada para simular aumento de volume. Um selo Estimativa deixa explícito que valores reais variam com uso, volume e frequência de atualização.

A previsão vem de uma simulação sobre as fontes (volume estimado por mês) e os painéis (modo de publicação) do workspace, ajustada pelo plano. Não é a fatura. Para saldo, franquia, créditos e limites reais do plano, o lugar é Consumo e quotas.

As quatro alavancas que realmente baixam custo

1. Partição por data na Bronze — a consulta lê só as partições necessárias (aula 6).
2. Carga incremental em vez de full no dia a dia — menos bytes lidos por execução (aula 4).
3. Gold agregado — o painel lê um mart pequeno, não a Silver inteira (aula 9).
4. Menos colunas nas transformações — selecionar o que interessa, em vez de arrastar a tabela toda.

E uma que não é alavanca: aumentar o teto não baixa custo nenhum — só remove a proteção.

Exemplo: a Comércio Aurora

vendas chega como ~12 GB/mês. Com vendas em Full diário, cada execução relê tudo; trocando para Append com atualizado_em e particionando por data_pedido, a leitura diária cai para a janela do dia. Em /costs, a Aurora (plano Growth) vê a assinatura fixa, o consumo previsto dentro da faixa P50–P90 com o BigQuery pesando mais na composição, e a projeção subindo suave ao longo de 6 meses. Quando Maria escreve uma consulta exploratória que leria a vendas inteira sem filtro de data, o teto de bytes faturáveis aborta a consulta — e ela refaz com filtro de partição. Nada disso lhe diz quanto vai aparecer na fatura: a tela diz Estimativa, e é isso que ela comunica à diretoria.

Erros comuns

Faça você mesmo#

No workspace de treino Aurora Varejo, como dono.

1. Em /sources, leia o volume estimado (~N GB/mês) de cada pipeline da lista e compare com o que você sabe das origens.
2. Abra o pipeline de vendas, vá à etapa Operação e configure: retentativas 2, espera 5 min, timeout 60 min, execuções simultâneas 1. Leia a nota sobre o que o executor aplica.
3. Vá à Revisão e localize o bloco Limites: confirme que ele repete as retentativas, o timeout, a concorrência e o volume estimado com o aviso de "estimativa do catálogo".
4. Publique e baixe a definição publicada (JSON). Localize limites.gbMesEstimado no arquivo.
5. No Console de dados, monte uma consulta sobre vendas sem filtro de data e leia a estimativa de bytes/custo exibida antes de rodar. Não rode se a estimativa indicar leitura completa da tabela.
6. Refaça a mesma consulta com filtro na coluna de partição e compare as duas estimativas.
7. Abra /costs: anote a assinatura, o consumo previsto com a faixa P50–P90, a composição (qual componente pesa mais) e o total da projeção no 6º mês. Localize o selo Estimativa.

Você terminou quando os limites de execução estão gravados na definição publicada, você tem duas estimativas de bytes da mesma consulta (com e sem filtro de partição) para comparar, leu a faixa P50–P90 em /costs, e consegue explicar em uma frase por que nada disso é a fatura.

Checagem rápida#

Três perguntas no final da aula, corrigidas no servidor. A aula só conta como concluída depois da checagem.

Documentação relacionada#

• data/custo-limites-seguranca
• administracao/custos-e-previsao
• administracao/consumo-e-quotas

Capacidades ensinadas#

C00.4 — o selo exibido na aula é sempre o estado mais conservador entre as capacidades citadas; nada aqui é "GA".