Todo pipeline tem uma cadência: de quanto em quanto tempo ele vai buscar os dados na origem.
- Lote (uma vez por dia) — o padrão. O pipeline roda num horário do dia (ou no dia anterior, D-1).
- Micro-lote (de minutos) — o pipeline roda a cada 5 ou a cada 15 minutos e, a cada rodada, traz só o que mudou desde a anterior. É a opção de quase tempo real do produto: o painel fica, no máximo, alguns minutos atrás da origem.
Em que plano
O micro-lote faz parte dos planos Business e Scale. Nos outros planos a cadência fica em Lote; se você escolher micro-lote, a tela recusa com o aviso "O micro-lote não está incluído no seu plano". Ver Planos.
Ligar o micro-lote#
1. Abra o pipeline
Em ETL/ELT → Pipelines, abra o pipeline e vá ao cartão Agendamento do pipeline. Clique em Editar agendamento.
2. Escolha a cadência
Em Modo, deixe Todo dia, num horário. Em Cadência, escolha Micro-lote (de minutos).
3. Escolha o intervalo
Em Intervalo, escolha A cada 5 minutos ou A cada 15 minutos.
4. Salve e confira a agenda
Clique em Salvar agendamento. O micro-lote só roda com a agenda ligada (Pausar/Ativar agenda, no topo da tela do pipeline).
Para voltar ao ritmo diário, troque a Cadência para Lote (uma vez por dia) e salve.
O que o micro-lote lê a cada rodada#
O micro-lote não recarrega a tabela inteira a cada 5 minutos. Cada rodada
traz só o que mudou desde a anterior, pela coluna-chave da tabela (uma
coluna de data/hora que só cresce, como atualizado_em) — a mesma carga
incremental descrita em Modos de carga.
| A tabela… | Com micro-lote ligado |
|---|---|
| é incremental (acrescenta) e tem coluna-chave de data/hora | roda a cada intervalo, trazendo só as linhas novas ou alteradas |
| não tem coluna-chave, ou é recarregada por inteiro | continua no ritmo de lote: carrega uma vez por dia. A rodada de minutos pula essa tabela e registra o motivo |
Assim, ligar o micro-lote num pipeline com tabelas sem coluna-chave não multiplica o custo: só as tabelas que dá para recortar rodam de minutos em minutos.
Para tirar proveito
Na tabela Bronze, use a carga incremental e escolha como coluna-chave uma data/hora de atualização da origem. Ver Ingestão incremental e backfill.
O aviso de atraso#
Um pipeline que promete minutos e para de rodar é avisado na hora, e não só no dia seguinte. Quando a última execução fica mais de três intervalos para trás, o pipeline aparece como Atrasado — na lista de pipelines, no detalhe do pipeline e na tela Operação — com o número escrito por extenso:
"Prometido a cada 5 min, mas a última execução foi há 40 min — 8 períodos sem rodar. Veja a agenda e as execuções."
- Pipeline pausado não acusa atraso: pausar é desligar a promessa.
- Pipeline que nunca executou não está atrasado — aparece como "nunca executado".
- Pipeline em lote diário não tem esse aviso.
Se o aviso aparecer, abra ETL/ELT → Execuções e veja a última rodada. As causas mais comuns são saldo de créditos esgotado, uma execução que demora mais que o intervalo (a próxima espera a anterior terminar) e credencial da origem vencida. Ver Agendamento, retry e DLQ.
Custo#
Cada rodada é uma execução do pipeline e consome créditos como qualquer outra — proporcional ao que ela lê. Com 5 minutos são até 288 rodadas por dia; com 15, até 96. Comece com 15 minutos e só desça para 5 se o negócio precisar. Acompanhe em Configurações → Custos (Consumo e quotas).
Micro-lote não é tempo real#
O micro-lote busca os dados em intervalos curtos. Ele não lê o log de transações do banco (CDC) e, por isso:
- não enxerga uma linha apagada na origem (a carga incremental só vê o que foi incluído ou alterado);
- o painel fica alguns minutos atrás da origem, nunca segundos.
A captura contínua de mudanças (CDC/tempo real) ainda não está disponível. Para quase tempo real, o micro-lote é o caminho. Ver Como os dados fluem.