Pular para o conteúdo

Custo, limites e segurança por workspace

Nesta página (6)

Leia antes: README.md. Esta página fecha os campos 5–7 do template para todos os fluxos de Dados.


Custo — motor de custo (sob demanda, por bytes lidos)#

O custo deriva dos bytes LIDOS pela query (não das linhas retornadas), como num modelo de cobrança sob demanda por volume varrido. Constantes do produto:

ConstanteValor
PRICE_USD_PER_TIBUS$ 6,25 / TiB (sob demanda, região Brasil — São Paulo)
USD_BRL5,2 (câmbio de estimativa, configurável)
MIN_BILLED_BYTES_PER_TABLE10 MB por tabela referenciada
MIN_BILLED_BYTES_PER_QUERY10 MB por query

Regra de negócio do ingestia.io (diferente do padrão de mercado): cobra-se TODA consulta — não há franquia gratuita e nenhuma query custa R$ 0,00. Aplica-se um mínimo faturado:

código
billed = max(bytesScanned, tableCount × 10MB, 10MB)
usd = billed / 2^40 × 6,25
brl = usd × 5,2

A estimativa devolve {tib, billedBytes, usd, brl}, com formatação padrão pt-BR.

Importante: este é o motor de estimativa que aparece na tela antes de rodar. O valor cobrado é o da fatura.

Guarda de custo — teto de bytes faturáveis#

Toda query read-only ao workspace roda com teto de volume lido SEMPRE — teto de bytes faturáveis que aborta a query antes de estourar o orçamento:

  • MAX_BYTES_BILLED default 1 GiB (um ajuste de ambiente pode sobrescrever).
  • Aplicado em toda execução (interativa, execução paralela de conferência, drill), na região Brasil (São Paulo) e com rótulo de workspace na cobrança para atribuir o custo.
  • Queries são read-only e usam parâmetros nomeados (anti SQL-injection) no caminho text-to-SQL.

Limites e tetos (concretos)#

OndeLimite
Paginação de conector10.000 páginas · 5.000.000 linhas (teto duro, anti-loop)
Carga SaaS→Bronzedefault batchSize 5.000 · maxRows 200.000
Profiling50 colunas · 5 exemplos × 60 chars · payload ≤ 32 KiB
Consulta no datalaketeto de volume lido (padrão 1 GiB) · timeout default 120 s
Incremental por períodojanela default 7 dias · teto 400
Cursor incremental por chaveliteral ≤ 64 chars, sem aspas/barra/quebra

Segurança — escopo por workspace (invariante inviolável)#

  • Datalake por workspace: datasets <prefix>_bronze / _silver / _gold; landing landing/{prefix}/... na área de arquivos. O prefix deriva do workspace e é saneado a [a-zA-Z0-9_-]. Um cliente nunca cruza dataset/bucket de outro. BYOC (nuvem do cliente) resolve bucket/conta de serviço do próprio workspace.
  • Redaction de segredo: todo erro/log de conector tem o segredo apagado — cru, dentro de URL (percent-encoded) e em JSON (chave PEM multiline). É a única forma de erro que o adaptador deixa escapar.
  • Produção não finge: um caminho que cairia em mock/no-op falha (503) em produção em vez de simular sucesso. Ex.: o Google Ads é recusado em produção se o developer token não está aprovado.
  • PII: coluna PII → exemplos •••, min/max/distintos/comprimento suprimidos; coluna oculta nem aparece no perfil.
  • Verificação de acesso: ação cara (refresh, export, IA, ingestão, API) passa pela verificação de acesso (workspace ativo). 11 capacidades têm chave de desligamento runtime, incluindo execução de ingestão, consultas no console de dados, amostragem de dados, atualização de painéis.

Disponibilidade e região#

ItemValor
Região do datalake e do processamentoBrasil — São Paulo
Disponibilidade contratada (SLA)99,5% ao mês a partir do plano Growth, com crédito de serviço — ver /legal/sla
Startermelhor esforço
Meta interna — disponibilidade da aplicação99,9% ao mês
Meta interna — sucesso de execução de pipeline99,0% ao mês
Meta interna — consulta de painel (p95)abaixo de 8 segundos
Medição pública/status, com os últimos 90 dias
Conectores novosentram em Acesso limitado; a primeira execução com credencial real é acompanhada pela nossa equipe

Ficha (template dos 9 campos)#

  1. Estado — disponível. Motor de custo, guardas e escopo por workspace cobertos por testes automáticos.
  2. O que faz — estima custo por bytes lidos, limita gasto por query, impõe tetos e isola cada workspace.
  3. Como funciona — o motor de custo estima; o teto de bytes faturáveis aborta; prefixo saneado + datasets/buckets por prefixo isolam; a redação de segredos e a guarda de produção fecham vazamento e mock.
  4. Plano · Permissão — núcleo · verificação de acesso + entitlements por plano · chaves de desligamento por capacidade.
  5. Custo — cobra-se toda query (mínimo 10 MB); teto default 1 GiB por query. A tela mostra a estimativa; o valor cobrado é o da fatura.
  6. Limites — ver a tabela acima.
  7. Segurança — escopo por workspace, redaction, guarda de produção, PII mascarada, parâmetros nomeados.
  8. Como validar — no console, ao montar uma consulta, confira a estimativa de custo/bytes exibida antes de rodar; uma query que estouraria o teto de bytes faturáveis é abortada com aviso. Um administrador pode checar a saúde profunda do ambiente em GET /api/health?deep=1.
  9. Em resumo — proteção de consulta (teto de bytes, timeout), estimativa de custo antes de rodar e isolamento por workspace, numa plataforma com SLA de 99,5% a partir do Growth.

Links relacionados