Estado: Preview — nenhum item aqui é GA de produto. Métricas de nuvem (latência, custo faturado, uptime, RPO/RTO): NÃO MEDIDO.
O que é esta pasta. Documentação pública, escrita por estado REAL do produto (não por promessa), da camada de Dados do ingestia.io: os conectores e todo o pipeline de datalake — ingestão, medalhão Bronze/Silver/Gold, profiling, schema drift, qualidade, deduplicação, transformações, agendamento, retry, DLQ, custo, limites e segurança por workspace. Dados de exemplo são sintéticos. A fonte da verdade sobre estado é a matriz de capacidades do produto (fonte única de estados e claims).
Operação do pipeline fica em Orquestração
Publicação em versões, agenda e fuso, execução (tarefa/tentativa/log) e recuperação de falha têm guias próprios em Orquestração. As páginas de operação que já moravam aqui continuam nos mesmos endereços — nada foi movido.
Procurando o nome de um botão?
Esta pasta explica o como funciona. O nome exato de cada botão, tela por tela, está no Guia de telas: Conexões · Pipelines · Execuções · Console de dados · Seu datalake · Consultas · Linhagem · Governança · Conectar BI.
Páginas#
| Página | Cobre |
|---|---|
conectores.md | Catálogo de conectores por estado (Preview/Blocked), SDK comum, suíte de contrato, certificação de 30 dias |
pipeline-medalhao.md | Medalhão Bronze→Silver→Gold, qualidade, deduplicação, profiling, schema drift, saneamento, transformações |
ingestao-incremental-backfill.md | Full · incremental por período · incremental por chave (watermark) · backfill · checkpoint de retomada |
agendamento-retry-dlq.md | Agendamento (cron), retry/backoff, DLQ, reconciliação de camadas, observabilidade por conector |
custo-limites-seguranca.md | Motor de custo · teto de bytes faturáveis · limites/tetos · escopo por workspace · redaction · PII |
Vocabulário de estado (honesto)#
Herdado do registro canônico de estados. O teto de toda a plataforma é
Preview — a Regra de Ouro do Programa Mestre proíbe GA de produto hoje.
| Estado | Significado |
|---|---|
| GA | Disponível e provado em produção. Zero itens neste estado hoje (proibido pela Regra de Ouro). |
| Preview (provado) | Caminho load-bearing provado por teste determinístico + suíte de contrato e testes de referência. Sem SLA e sem certificação de nuvem. |
| Preview (limitado) | Código pronto + guarda honesta; caminho real (credencial/infra paga) ainda não exercido ponta a ponta. |
| Blocked | Barreira dura: sem evidência executável, não aparece como disponível. |
| Roadmap | Arquitetura ainda não construída. |
No catálogo de conectores o estado usa 3 rótulos do próprio produto:
disponivel · estrutura (= Preview) · em_breve (só spec, não entra no
catálogo). Um conector só conta como "ao vivo" quando está disponivel.
Template obrigatório (selo + 9 campos)#
Todo fluxo ou conector documentado nas páginas desta pasta segue este molde. O
selo (nota de estado no topo de cada página) declara a maturidade e o que é
NÃO MEDIDO. Os 9 campos descrevem cada item:
- Estado — Preview (provado/limitado) · Blocked · Roadmap. Nunca "GA".
- O que faz — descrição honesta do comportamento real.
- Como funciona — a mecânica, em linguagem de produto.
- Plano · Permissão — entitlement por plano + verificação de acesso + chave de desligamento da capacidade (``), quando houver.
- Custo — bytes faturados / teto de bytes faturáveis / R$0 hoje. Métrica de nuvem =
NÃO MEDIDO. - Limites — tetos concretos do produto (páginas, linhas, bytes, colunas…).
- Segurança — escopo por workspace, redaction de segredo, guarda de produção, tratamento de PII.
- Como validar — como confirmar o comportamento no seu próprio workspace, pelo console/painel.
- Estado real / claim permitido — o que pode ser dito hoje.
Como confirmar o comportamento (no produto)#
Cada página traz, no campo Como validar, o passo a passo para você confirmar o comportamento no seu próprio workspace, pelo console/painel — sem precisar de ambiente técnico. Nenhum passo depende de rede externa além do seu próprio datalake.
O que só se comprova em nuvem real (execução no datalake e no worker, custo faturado,
latência) está marcado NÃO MEDIDO em cada página: são números que não medimos
e, por isso, não publicamos. Isso descreve a medição, não uma fila de liberação:
os conectores marcados Disponível no catálogo são cadastrados
e usados no fluxo normal, sem liberação caso a caso. Quem depende de falar com o
suporte é apenas o conjunto com a configuração recusada, listado lá.
Segurança e escopo (invariante de todas as páginas)#
- Escopo por workspace, sempre. Datalake é
<prefix>_bronze/_silver/_golde landinglanding/{prefix}/...na área de arquivos, comprefixderivado do workspace (saneado a[a-zA-Z0-9_-]). Um cliente nunca lê dataset/bucket de outro. - Segredo nunca vaza. Todo erro/log de conector passa por redação de segredos — token cru, na URL (percent-encoded) e em JSON.
- Produção não finge. Um caminho que cairia em mock aciona a guarda de produção: em produção falha com 503 em vez de simular sucesso.
- PII protegida. O profiling mascara PII (
•••) e suprime min/max/distintos; coluna oculta nem aparece.