Lea antes:
../conectores.md(mapa de estados) yfichas.md(índice de las fichas).
Qué es#
Lee archivos CSV, JSON y XLSX de un bucket de MinIO (API S3, claves de acceso, SigV4) y los carga en la capa Bronze; Parquet se reconoce y carga directamente.
Modos de ingestión soportados:
- Nós buscamos — Nós buscamos los datos en su fuente.
Para qué sirve#
Traer los datos de MinIO a su datalake y ponerlos a disposición en las capas Bronze/Silver/Gold, a los modelos de BI y al asistente de preguntas en lenguaje natural.
Cuándo usar / cuándo no usar#
Úselo cuando necesita consolidar esta fuente en el datalake de forma programada, con aislamiento por workspace.
Recuerde que la primera ejecución con credencial real la acompaña nuestro equipo antes de la liberación completa del conector.
Plan y permisos#
- Plan: núcleo del producto (los conectores forman parte de todos los planes; el límite es el número de fuentes del plan).
- Acceso: requiere workspace activo — con la suscripción en atraso, suspendida o cancelada, la ejecución queda bloqueada.
- Desactivación: la ejecución de ingestión puede ser desactivada temporalmente (mantenimiento o incidente). Cuando esto ocurre, la pantalla informa que el recurso está indisponible en este momento.
Requisitos previos#
- Una cuenta MinIO con acceso a los datos que desea ingerir.
- En el console del MinIO, cree una access key (Identity → Service Accounts) con política de lectura y listado en el bucket (s3:GetObject, s3:ListBucket). Informe el endpoint del servidor, el bucket y las claves; la secret key está cifrada y nunca se muestra de nuevo.
Credenciales#
Forma de autenticación: Clave de API generada en el panel del proveedor, enviada en encabezado/parámetro.
Campos sensibles. Están cifrados (AES-256-GCM) y nunca quedan en el config de la conexión, en la definición del pipeline, en el export o en la DAG. Por defecto el valor cifrado queda en la base; mover la credencial de esta conexión al cofre externo de credenciales es una elección explícita, hecha por conexión después de guardar — ver ../../administracao/credenciais-e-rotacao.md.
- Secret Key (
secretAccessKey)
Los secretos nunca se vuelven a mostrar y pasan por redacción en todo error/log (token sin procesar, URL-encoded y en JSON).
Campos del formulario#
| Campo | Rótulo | Tipo | Obligatorio | Observación |
|---|---|---|---|---|
endpoint | Endpoint del servidor | texto | sí | URL de la API S3 de MinIO (con puerto, si lo hay). Debe ser accesible desde internet o por VPN. |
bucket | Bucket | texto | sí | — |
prefix | Prefijo / carpeta | texto | no | Cada subcarpeta se convierte en una tabla; archivos hermanos se convierten en particiones de la misma tabla. |
region | Región | texto | no | por defecto: us-east-1; Región configurada en el servidor (MINIO_REGION). El valor por defecto de MinIO es us-east-1. |
accessKeyId | Access Key | texto | sí | — |
secretAccessKey 🔒 | Clave secreta | contraseña/secreto | sí | secreto (cifrado; cofre externo opcional) |
Paso a paso#
- En el menú Dados → Conexões, use Nova conexão.
- Elija MinIO en el catálogo.
- Complete los campos del formulario (vea la tabla arriba).
- Use Testar conexão. El resultado viene separado en tres capacidades, cada una con OK, Falló, No aplica o No probado. En esta ficha significan: Rede — el endpoint del servicio de almacenamiento es alcanzable desde el servidor de la aplicación; Autenticação — la credencial del formulario (clave de acceso o cuenta de servicio, no usuario y contraseña) fue aceptada; Leitura — fue posible listar os objetos do bucket/container sob o prefixo informado (la cuenta mostrada es de objetos visibles, no de tablas).
- Use Salvar conexão. Guardar NO inicia ninguna ingestión.
- En la tarjeta de la conexión, use Montar extração (o vaya a Orquestração → Pipelines y use Conectar fonte). El pipeline apunta a la conexión guardada — la credencial no se copia.
- En la revisión, Publicar (agenda desligada) crea la versión 1 sin ejecutar nada. Después, Ativar agenda y Executar agora son acciones separadas.
Ejemplo — prueba de conexión#
Configuración de ejemplo (todos los valores son ficticios; los secretos aparecen enmascarados):
# Exemplo sintético (valores fictícios — não são credenciais reais)
endpoint = <endpoint>
bucket = meu-bucket-exemplo
prefix = dados/2026/
region = us-east-1
accessKeyId = AKIAEXEMPLOFICTICIO0
secretAccessKey = •••••• (cifrado — nunca exibido)Resultado esperado#
El Testar conexão devuelve la cantidad de objetos visibles bajo el prefijo informado. Tras la primera carga, el contenido de esos archivos aparece en la capa Bronze de su workspace, listo para el pipeline.
Límites y costos#
- Paginación: tope duro por ejecución (por defecto 10.000 páginas / 5.000.000 líneas); guarda anti-loop.
- Carga SaaS: por defecto
batchSize5.000,maxRows200.000 por recurso. - Volumen estimado: ~3 GB/mes (estimación de catálogo, no medición).
- **
Seguridad#
- Alcance por workspace: cada cliente lee y escribe solo en su propio datalake (
<prefixo>_bronze/_silver/_gold); nunca hay fuga entre workspaces. - Secretos cifrados: el material sensible se cifra con AES-256-GCM antes de guardarse. El cofre externo de credenciales es opcional y se activa por conexión; sin él, el valor cifrado queda en la base. Cambiar el valor aquí NO revoca la credencial en el origen.
- Redaction: todo error/log pasa por la redacción de secretos (sin procesar, URL-encoded y en JSON).
- Producción no finge: un camino que caería en mock activa la guarda de producción (falla explícita en lugar de simular éxito).
Errores comunes#
- Autenticación falló — la credencial de este conector NO es usuario y contraseña: es clave de acceso (o cuenta de servicio). Verifique el par informado en el formulario y si aún está activo en el proveedor.
- Listado denegado — la credencial autentica pero no puede listar el bucket. Conceda listado del bucket y lectura de los objetos bajo el prefijo; permiso de lectura sin listado no es suficiente, porque el pipeline necesita descubrir qué archivos existen.
- Bucket/prefijo inexistente o vacío — verifique el nombre exacto del bucket y el prefijo (carpeta). Un prefijo sin ningún objeto devuelve cero objetos visibles, no un error.
- Archivo en formato no soportado — el object storage transporta archivos; el pipeline necesita poder leer el contenido (CSV, JSON o Parquet). Un objeto en otro formato se ignora o falla en la carga, según la política del pipeline.
Solución de problemas#
- Use Testar conexão para aislar problemas de credencial/red antes de programar.
- Acompañe las ejecuciones en la observabilidad por conector (tasa de error, p50/p95, freshness).
- Un cambio de esquema en el origen se señala por el schema drift (columna nueva = info; columna eliminada/tipo cambiado = atención).
Relacionados#
../conectores.md— catálogo de conectores por estado../ingestao-incremental-backfill.md— full, incremental por watermark, backfill y checkpoint../pipeline-medalhao.md— capas Bronze/Silver/Gold y calidad../agendamento-retry-dlq.md— programación, retry/backoff y DLQ../custo-limites-seguranca.md— costo, topes y seguridad por workspace
Última revisión: 2026-10-04. Ficha generada automáticamente del catálogo de conectores del producto.