Leia antes:
../conectores.md(mapa de estados) efichas.md(índice das fichas).
O que é#
Ingere arquivos Parquet (formato colunar auto-descritivo), que você envia para a área de recebimento do seu ambiente (modo "Você deposita"). Para ler um bucket seu, o conector é o do próprio serviço de armazenamento.
Modos de ingestão suportados:
- Você deposita — Você deposita os dados na nossa cloud.
Para que serve#
Trazer os dados de Parquet para o seu datalake e disponibilizá-los às camadas Bronze/Silver/Gold, aos modelos de BI e ao wizard de perguntas em linguagem natural.
Quando usar / quando não usar#
Use quando você precisa consolidar esta fonte no datalake de forma agendada, com isolamento por workspace.
Evite enviar arquivos com esquema instável sem antes conferir o profiling e o schema drift.
Plano e permissões#
- Plano: núcleo do produto (conectores fazem parte de todos os planos; o limite é o número de fontes do plano).
- Acesso: exige workspace ativo — com a assinatura em atraso, suspensa ou cancelada, a execução fica bloqueada.
- Desligamento: a execução de ingestão pode ser desligada temporariamente (manutenção ou incidente). Quando isso acontece, a tela informa que o recurso está indisponível no momento.
- Upload (modo "Você deposita"): o arquivo vai para a área de recebimento do seu próprio workspace.
Pré-requisitos#
- Os arquivos que você vai enviar (modo "Você deposita").
Credenciais#
Este conector não exige segredos próprios (modo de upload / sem credencial na plataforma).
Segredos nunca são reexibidos e passam pela redação em todo erro/log (token cru, URL-encoded e em JSON).
Campos do formulário#
Nada a configurar: o Parquet é auto-descritivo (o esquema e os tipos vêm dentro do próprio arquivo). Basta enviar o arquivo.
Passo a passo#
- No menu Dados → Conexões, use Nova conexão.
- Escolha Parquet no catálogo.
- Preencha os campos do formulário (veja a tabela acima).
- Envie os arquivos. Formato de arquivo só aceita depósito — não há conexão a testar aqui.
- Use Salvar conexão. Salvar NÃO inicia ingestão nenhuma.
- No cartão da conexão, use Montar extração (ou vá em Orquestração → Pipelines e use Conectar fonte). O pipeline aponta para a conexão salva — a credencial não é copiada.
- Na revisão, Publicar (agenda desligada) cria a versão 1 sem executar nada. Depois, Ativar agenda e Executar agora são ações separadas.
Exemplo — teste de conexão#
Configuração de exemplo (todos os valores são fictícios; segredos aparecem mascarados):
# Exemplo sintético (valores fictícios — não são credenciais reais)
Resultado esperado#
O Testar conexão retorna a lista de tabelas/recursos descobertos. Após a primeira carga, as linhas aparecem na camada Bronze do seu workspace, prontas para o pipeline.
Limites e custos#
- Volume estimado: ~0.5 GB/mês (estimativa de catálogo, não medição).
- Custo: a extração em si não é cobrada pela plataforma; a carga Bronze consome processamento do datalake (cobrável).
Segurança#
- Escopo por workspace: cada cliente lê e escreve só no seu próprio datalake (
<prefixo>_bronze/_silver/_gold); nunca há vazamento entre workspaces. - Segredos cifrados: material sensível é cifrado com AES-256-GCM antes de ser gravado. O cofre externo de credenciais é opcional e ligado por conexão; sem ele, o valor cifrado fica no banco. Trocar o valor aqui NÃO revoga a credencial na origem.
- Redaction: todo erro/log passa pela redação de segredos (cru, URL-encoded e em JSON).
- Produção não finge: um caminho que cairia em mock aciona a guarda de produção (falha explícita em vez de simular sucesso).
Erros comuns#
- Delimitador/encoding (CSV) — confira o delimitador e prefira UTF-8; colunas coladas costumam indicar delimitador errado.
- Formato JSON — escolha entre linhas (ndjson) e array único conforme o arquivo.
Solução de problemas#
- Use Testar conexão para isolar problemas de credencial/rede antes de agendar.
- Acompanhe as execuções na observabilidade por conector (taxa de erro, p50/p95, freshness).
- Uma mudança de esquema na origem é sinalizada pelo schema drift (coluna nova = info; coluna removida/tipo mudado = atenção).
Relacionados#
../conectores.md— catálogo de conectores por estado../ingestao-incremental-backfill.md— full, incremental por watermark, backfill e checkpoint../pipeline-medalhao.md— camadas Bronze/Silver/Gold e qualidade../agendamento-retry-dlq.md— agendamento, retry/backoff e DLQ../custo-limites-seguranca.md— custo, tetos e segurança por workspace
Última revisão: 2026-10-04. Ficha gerada automaticamente do catálogo de conectores do produto.