O que é esta pasta. Documentação pública, escrita por estado REAL do produto (não por promessa), da camada de Dados do ingestia.io: os conectores e todo o pipeline de datalake — ingestão, medalhão Bronze/Silver/Gold, profiling, schema drift, qualidade, deduplicação, transformações, agendamento, retry, DLQ, custo, limites e segurança por workspace. Dados de exemplo são sintéticos.
Operação do pipeline fica em Orquestração
Publicação em versões, agenda e fuso, execução (tarefa/tentativa/log) e recuperação de falha têm guias próprios em Orquestração. As páginas de operação que já moravam aqui continuam nos mesmos endereços — nada foi movido.
Procurando o nome de um botão?
Esta pasta explica o como funciona. O nome exato de cada botão, tela por tela, está no Guia de telas: Conexões · Pipelines · Execuções · Console de dados · Seu datalake · Consultas · Linhagem · Governança · Conectar BI.
Páginas#
| Página | Cobre |
|---|---|
conectores.md | Catálogo de conectores por estado (Disponível · Acesso limitado · Planejado) e por categoria, SDK comum, suíte de contrato, certificação de 30 dias |
pipeline-medalhao.md | Medalhão Bronze→Silver→Gold, qualidade, deduplicação, profiling, schema drift, saneamento, transformações |
recuperar-dados-time-travel.md | Ver e recuperar uma tabela como estava nos últimos 7 dias (time travel) pelo console de Dados |
ingestao-incremental-backfill.md | Full · incremental por período · incremental por chave (watermark) · backfill · checkpoint de retomada |
agendamento-retry-dlq.md | Agendamento (cron), retry/backoff, DLQ, reconciliação de camadas, observabilidade por conector |
custo-limites-seguranca.md | Motor de custo · teto de bytes faturáveis · limites/tetos · escopo por workspace · redaction · PII |
micro-lote-cadencia.md | Cadência lote × micro-lote (a cada 5 ou 15 minutos), o que cada rodada lê, aviso de atraso |
notebooks-e-clusters.md | Clusters Spark e notebooks: conceito, passo a passo e custo |
etapa-notebook-silver-gold.md | Notebook publicado como etapa Silver ou Gold do pipeline |
formato-iceberg.md | Formato de gravação Apache Iceberg nas tabelas Silver e Gold |
Estado dos recursos#
Os recursos descritos nesta pasta estão disponíveis no produto, salvo quando a página diz o contrário.
No catálogo de conectores cada conector tem um de três estados públicos: Disponível (cadastro e uso no fluxo normal), Acesso limitado (a página do conector diz a condição) e Planejado (entra no catálogo com página e logo, mas a configuração é recusada com o motivo). Um conector só conta como "ao vivo" quando está Disponível.
Template obrigatório (9 campos)#
Todo fluxo ou conector documentado nas páginas desta pasta segue este molde. Os 9 campos descrevem cada item:
- Estado — disponível, ou a limitação concreta quando houver.
- O que faz — descrição honesta do comportamento real.
- Como funciona — a mecânica, em linguagem de produto.
- Plano · Permissão — entitlement por plano + verificação de acesso + chave de desligamento da capacidade (``), quando houver.
- Custo — bytes faturados / teto de bytes faturáveis. Os valores na tela são estimativas; o valor cobrado é o da fatura.
- Limites — tetos concretos do produto (páginas, linhas, bytes, colunas…).
- Segurança — escopo por workspace, redaction de segredo, guarda de produção, tratamento de PII.
- Como validar — como confirmar o comportamento no seu próprio workspace, pelo console/painel.
- Em resumo — o que o recurso entrega hoje.
Como confirmar o comportamento (no produto)#
Cada página traz, no campo Como validar, o passo a passo para você confirmar o comportamento no seu próprio workspace, pelo console/painel — sem precisar de ambiente técnico. Nenhum passo depende de rede externa além do seu próprio datalake.
Os valores de custo exibidos são estimativas; o valor cobrado é o da fatura. Os conectores marcados Disponível no catálogo são cadastrados e usados no fluxo normal, sem liberação caso a caso. Só os conectores com a configuração recusada, listados lá, dependem de falar com o suporte.
Segurança e escopo (invariante de todas as páginas)#
- Escopo por workspace, sempre. Datalake é
<prefix>_bronze/_silver/_golde landinglanding/{prefix}/...na área de arquivos, comprefixderivado do workspace (saneado a[a-zA-Z0-9_-]). Um cliente nunca lê dataset/bucket de outro. - Segredo nunca vaza. Todo erro/log de conector passa por redação de segredos — token cru, na URL (percent-encoded) e em JSON.
- Produção não finge. Um caminho que cairia em mock aciona a guarda de produção: em produção falha com 503 em vez de simular sucesso.
- PII protegida. O profiling mascara PII (
•••) e suprime min/max/distintos; coluna oculta nem aparece.