MinIO — conector

Estado: Preview — comportamento pode mudar; sem SLA. Métricas de nuvem (custo faturado, latência): NÃO MEDIDO.

Leia antes: ../conectores.md (mapa de estados) e fichas.md (índice das fichas).

O que é#

Lê arquivos CSV, JSON e XLSX de um bucket do MinIO (API S3, chaves de acesso, SigV4) e carrega na camada Bronze; Parquet é reconhecido e carregado direto.

Modos de ingestão suportados:

• Nós buscamos — Nós buscamos os dados na sua fonte.

Para que serve#

Trazer os dados de MinIO para o seu datalake e disponibilizá-los às camadas Bronze/Silver/Gold, aos modelos de BI e ao wizard de perguntas em linguagem natural.

Quando usar / quando não usar#

Use quando você precisa consolidar esta fonte no datalake de forma agendada, com isolamento por workspace.

Lembre-se de que, em Preview, a liberação geral depende de credencial real e de uma execução controlada, validada manualmente pela nossa equipe.

Plano e permissões#

• Plano: núcleo do produto (conectores fazem parte de todos os planos; o limite é o número de fontes do plano).
• Acesso: exige workspace ativo — com a assinatura em atraso, suspensa ou cancelada, a execução fica bloqueada.
• Desligamento: a execução de ingestão pode ser desligada temporariamente (manutenção ou incidente). Quando isso acontece, a tela informa que o recurso está indisponível no momento.

Pré-requisitos#

• Uma conta MinIO com acesso aos dados que você quer ingerir.
• No console do MinIO, crie uma access key (Identity → Service Accounts) com política de leitura e listagem no bucket (s3:GetObject, s3:ListBucket). Informe o endpoint do servidor, o bucket e as chaves; a secret key é cifrada e nunca é exibida de novo.

Credenciais#

Forma de autenticação: Chave de API gerada no painel do provedor, enviada em cabeçalho/parâmetro.

Campos sensíveis. Eles são cifrados (AES-256-GCM) e nunca ficam no config da conexão, na definição do pipeline, no export ou na DAG. Por padrão o valor cifrado fica no banco; mover a credencial desta conexão para o cofre externo de credenciais é uma escolha explícita, feita por conexão depois de salvar — ver ../../administracao/credenciais-e-rotacao.md.

• Secret Key (secretAccessKey)

Segredos nunca são reexibidos e passam pela redação em todo erro/log (token cru, URL-encoded e em JSON).

Campos do formulário#

Passo a passo#

1. No menu Dados → Conexões, use Nova conexão.
2. Escolha MinIO no catálogo.
3. Preencha os campos do formulário (veja a tabela acima).
4. Use Testar conexão. O resultado vem separado em três capacidades, cada uma com OK, Falhou, Não se aplica ou Não testado. Nesta ficha elas significam: Rede — o endpoint do serviço de armazenamento é alcançável a partir do servidor da aplicação; Autenticação — a credencial do formulário (chave de acesso ou conta de serviço, não usuário e senha) foi aceita; Leitura — foi possível listar os objetos do bucket/container sob o prefixo informado (a contagem exibida é de objetos visíveis, não de tabelas).
5. Use Salvar conexão. Salvar NÃO inicia ingestão nenhuma.
6. No cartão da conexão, use Montar extração (ou vá em Orquestração → Pipelines e use Conectar fonte). O pipeline aponta para a conexão salva — a credencial não é copiada.
7. Na revisão, Publicar (agenda desligada) cria a versão 1 sem executar nada. Depois, Ativar agenda e Executar agora são ações separadas.

Exemplo — teste de conexão#

Configuração de exemplo (todos os valores são fictícios; segredos aparecem mascarados):

# Exemplo sintético (valores fictícios — não são credenciais reais)
endpoint = <endpoint>
bucket = meu-bucket-exemplo
prefix = dados/2026/
region = us-east-1
accessKeyId = AKIAEXEMPLOFICTICIO0
secretAccessKey = •••••• (cifrado — nunca exibido)

Resultado esperado#

O Testar conexão retorna a quantidade de objetos visíveis sob o prefixo informado. Após a primeira carga, o conteúdo desses arquivos aparece na camada Bronze do seu workspace, pronto para o pipeline.

Limites e custos#

• Paginação: teto duro por execução (default 10.000 páginas / 5.000.000 linhas); guarda anti-loop.
• Carga SaaS: default batchSize 5.000, maxRows 200.000 por recurso.
• Volume estimado: ~3 GB/mês (estimativa de catálogo, não medição).
• Custo: a extração em si não é cobrada pela plataforma; a carga Bronze consome processamento do datalake (cobrável). Custo faturado real de nuvem = NÃO MEDIDO.

Segurança#

• Escopo por workspace: cada cliente lê e escreve só no seu próprio datalake (<prefixo>_bronze / _silver / _gold); nunca há vazamento entre workspaces.
• Segredos cifrados: material sensível é cifrado com AES-256-GCM antes de ser gravado. O cofre externo de credenciais é opcional e ligado por conexão; sem ele, o valor cifrado fica no banco. Trocar o valor aqui NÃO revoga a credencial na origem.
• Redaction: todo erro/log passa pela redação de segredos (cru, URL-encoded e em JSON).
• Produção não finge: um caminho que cairia em mock aciona a guarda de produção (falha explícita em vez de simular sucesso).

Erros comuns#

• Autenticação falhou — a credencial deste conector NÃO é usuário e senha: é chave de acesso (ou conta de serviço). Confira o par informado no formulário e se ele ainda está ativo no provedor.
• Listagem negada — a credencial autentica mas não pode listar o bucket. Conceda listagem do bucket e leitura dos objetos sob o prefixo; permissão de leitura sem listagem não basta, porque o pipeline precisa descobrir quais arquivos existem.
• Bucket/prefixo inexistente ou vazio — confira o nome exato do bucket e o prefixo (pasta). Prefixo sem nenhum objeto devolve zero objetos visíveis, não um erro.
• Arquivo em formato não suportado — object storage transporta arquivos; o pipeline precisa conseguir ler o conteúdo (CSV, JSON ou Parquet). Um objeto em outro formato é ignorado ou falha na carga, conforme a política do pipeline.

Diagnóstico#

• Use Testar conexão para isolar problemas de credencial/rede antes de agendar.
• Acompanhe as execuções na observabilidade por conector (taxa de erro, p50/p95, freshness).
• Uma mudança de esquema na origem é sinalizada pelo schema drift (coluna nova = info; coluna removida/tipo mudado = atenção).

Relacionados#

• ../conectores.md — catálogo de conectores por estado
• ../ingestao-incremental-backfill.md — full, incremental por watermark, backfill e checkpoint
• ../pipeline-medalhao.md — camadas Bronze/Silver/Gold e qualidade
• ../agendamento-retry-dlq.md — agendamento, retry/backoff e DLQ
• ../custo-limites-seguranca.md — custo, tetos e segurança por workspace

Última revisão: 2026-10-04. Ficha gerada automaticamente do catálogo de conectores do produto.