Lea antes:
../conectores.md(mapa de estados) yfichas.md(índice de las fichas).
Qué es#
Lee archivos CSV, JSON y XLSX desde un Space de DigitalOcean (API compatible con S3, claves de acceso, SigV4) y los carga en la capa Bronze; Parquet se reconoce y carga directamente.
Modos de ingestión soportados:
- Nós buscamos — Nós buscamos los datos en su fuente.
Para qué sirve#
Traer los datos de DigitalOcean Spaces a su datalake y ponerlos a disposición en las capas Bronze/Silver/Gold, en los modelos de BI y en el asistente de preguntas en lenguaje natural.
Cuándo usar / cuándo no usar#
Use cuando necesita consolidar esta fuente en el datalake de forma programada, con aislamiento por workspace.
Recuerde que la primera ejecución con credencial real la acompaña nuestro equipo antes de la liberación completa del conector.
Plan y permisos#
- Plano: núcleo del producto (los conectores forman parte de todos los planos; el límite es el número de fuentes del plan).
- Acceso: requiere workspace activo — con la suscripción en mora, suspendida o cancelada, la ejecución queda bloqueada.
- Apagado: la ejecución de ingestión puede desactivarse temporalmente (mantenimiento o incidente). Cuando eso ocurre, la pantalla informa que el recurso está indisponible en este momento.
Prerrequisitos#
- Una cuenta DigitalOcean Spaces con acceso a los datos que desea ingerir.
- En el panel de DigitalOcean, en API → Spaces Keys, genere un par de claves (preferiblemente restringido al Space, solo lectura). Informe la región del Space (ej.: nyc3), el nombre del Space y el par Access Key / Secret Key; el secret se cifra y nunca se muestra de nuevo.
Credenciales#
Forma de autenticación: Clave de API generada en el panel del proveedor, enviada en cabecera/parámetro.
Campos sensibles. Están cifrados (AES-256-GCM) y nunca quedan en el config de la conexión, en la definición del pipeline, en el export o en la DAG. Por defecto el valor cifrado queda en la base; mover la credencial de esta conexión al cofre externo de credenciales es una elección explícita, hecha por conexión después de guardar — ver ../../administracao/credenciais-e-rotacao.md.
- Secret Key (
secretAccessKey)
Los secretos nunca se vuelven a mostrar y pasan por redacción en todo error/log (token crudo, URL-encoded y en JSON).
Campos del formulario#
| Campo | Rótulo | Tipo | Obligatorio | Observación |
|---|---|---|---|---|
region | Região | texto | sim | Región del Space (nyc3, sfo3, ams3, sgp1, fra1, syd1…). El endpoint se deriva: https://<região>.digitaloceanspaces.com. |
bucket | Space (bucket) | texto | sim | — |
prefix | Prefixo / pasta | texto | não | Cada subcarpeta se vuelve una tabla; archivos hermanos se vuelven particiones de la misma tabla. |
accessKeyId | Access Key | texto | sim | — |
secretAccessKey 🔒 | Secret Key | senha/segredo | sim | secreto (cifrado; cofre externo opcional) |
Paso a paso#
- No menu Dados → Conexões, use Nova conexão.
- Elija DigitalOcean Spaces en el catálogo.
- Complete los campos del formulario (vea la tabla arriba).
- Use Testar conexão. El resultado viene separado en tres capacidades, cada una con OK, Falhou, Não se aplica o Não testado. En esta ficha significan: Rede — el endpoint del servicio de almacenamiento es alcanzable desde el servidor de la aplicación; Autenticação — la credencial del formulario (clave de acceso o cuenta de servicio, no usuario y contraseña) fue aceptada; Leitura — fue posible listar os objetos do bucket/container sob o prefixo informado (la cuenta mostrada es de objetos visibles, no de tablas).
- Use Salvar conexão. Guardar NO inicia ninguna ingestión.
- En la tarjeta de la conexión, use Montar extração (o vaya a Orquestração → Pipelines y use Conectar fonte). El pipeline apunta a la conexión guardada — la credencial no se copia.
- En la revisión, Publicar (agenda desligada) crea la versión 1 sin ejecutar nada. Después, Ativar agenda y Executar agora son acciones separadas.
Ejemplo — prueba de conexión#
Configuración de ejemplo (todos los valores son ficticios; secretos aparecen enmascarados):
# Exemplo sintético (valores fictícios — não são credenciais reais)
region = us-east-1
bucket = meu-bucket-exemplo
prefix = dados/2026/
accessKeyId = AKIAEXEMPLOFICTICIO0
secretAccessKey = •••••• (cifrado — nunca exibido)Resultado esperado#
El Testar conexão devuelve la cantidad de objetos visibles bajo el prefijo informado. Tras la primera carga, el contenido de esos archivos aparece en la capa Bronze de su workspace, listo para el pipeline.
Límites y costos#
- Paginación: tope duro por ejecución (default 10.000 páginas / 5.000.000 líneas); protección anti-bucle.
- Carga SaaS: default
batchSize5.000,maxRows200.000 por recurso. - Volumen estimado: ~3 GB/mes (estimación de catálogo, no medición).
- **
Seguridad#
- Alcance por workspace: cada cliente lee y escribe solo en su propio datalake (
<prefixo>_bronze/_silver/_gold); nunca hay fuga entre workspaces. - Secretos cifrados: material sensible se cifra con AES-256-GCM antes de ser grabado. El cofre externo de credenciales es opcional y se activa por conexión; sin él, el valor cifrado queda en la base. Cambiar el valor aquí NO revoca la credencial en el origen.
- Redacción: todo error/log pasa por la redacción de secretos (crudo, URL-encoded y en JSON).
- Producción no simula: un camino que caería en mock activa la protección de producción (fallo explícito en lugar de simular éxito).
Errores comunes#
- Autenticação falhou — la credencial de este conector NO es usuario y contraseña: es clave de acceso (o cuenta de servicio). Verifique el par informado en el formulario y si aún está activo en el proveedor.
- Listagem negada — la credencial autentica pero no puede listar el bucket. Conceda listado del bucket y lectura de los objetos bajo el prefijo; permiso de lectura sin listado no es suficiente, porque el pipeline necesita descubrir qué archivos existen.
- Bucket/prefixo inexistente ou vazio — verifique el nombre exacto del bucket y el prefijo (carpeta). Un prefijo sin ningún objeto devuelve cero objetos visibles, no un error.
- Arquivo em formato não suportado — object storage transporta archivos; el pipeline necesita poder leer el contenido (CSV, JSON o Parquet). Un objeto en otro formato es ignorado o falla en la carga, según la política del pipeline.
Solución de problemas#
- Use Testar conexão para aislar problemas de credencial/red antes de programar.
- Siga las ejecuciones en la observabilidade por conector (tasa de error, p50/p95, freshness).
- Un cambio de esquema en el origen es señalizado por el schema drift (columna nueva = info; columna removida/tipo cambiado = atención).
Relacionados#
../conectores.md— catálogo de conectores por estado../ingestao-incremental-backfill.md— full, incremental por watermark, backfill y checkpoint../pipeline-medalhao.md— capas Bronze/Silver/Gold y calidad../agendamento-retry-dlq.md— programación, retry/backoff y DLQ../custo-limites-seguranca.md— costo, topes y seguridad por workspace
Última revisión: 2026-10-04. Ficha generada automáticamente del catálogo de conectores del producto.