Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-10-04

Amazon S3 — conector

Lee archivos CSV, JSON y XLSX de un bucket Amazon S3 suyo (claves de acceso, SigV4) y los carga en la capa Bronze; Parquet se reconoce y se carga directamente.

En esta página (15)

Lea antes: ../conectores.md (mapa de estados) y fichas.md (índice de las fichas).


Qué es#

Lee archivos CSV, JSON y XLSX de un bucket Amazon S3 suyo (claves de acceso, SigV4) y los carga en la capa Bronze; Parquet se reconoce y se carga directamente.

Modos de ingestión soportados:

  • Nós buscamos — Nós buscamos os dados na sua fonte.

Para qué sirve#

Traer los datos de Amazon S3 a su datalake y ponerlos a disposición en las capas Bronze/Silver/Gold, a los modelos de BI y al asistente de preguntas en lenguaje natural.

Cuándo usar / cuándo no usar#

Use cuando necesita consolidar esta fuente en el datalake de forma programada, con aislamiento por workspace.

Evite enviar archivos con esquema inestable sin antes revisar el profiling y el schema drift.

Plan y permisos#

  • Plan: núcleo del producto (los conectores forman parte de todos los planes; el límite es el número de fuentes del plan).
  • Acceso: requiere workspace activo — con la suscripción en mora, suspendida o cancelada, la ejecución queda bloqueada.
  • Desactivación: la ejecución de ingestión puede desactivarse temporalmente (mantenimiento o incidente). Cuando esto ocurre, la pantalla indica que el recurso no está disponible en este momento.

Prerrequisitos#

  • El bucket/container de origen y el prefijo (carpeta) desde el cual se leerán los objetos.
  • Una credencial con permiso para listar el bucket y leer los objetos bajo ese prefijo — solo eso. No es necesario (ni deseable) conceder escritura, eliminación o administración del bucket.
  • Los archivos bajo el prefijo deben estar en un formato que el pipeline sepa leer (CSV, JSON o Parquet). El object storage es transporte, no formato: el esquema viene del archivo.

Credenciales#

Campos sensibles. Se cifran (AES-256-GCM) y nunca quedan en el config de la conexión, en la definición del pipeline, en el export o en la DAG. Por defecto el valor cifrado queda en la base; mover la credencial de esta conexión al cofre externo de credenciales es una elección explícita, hecha por conexión después de guardar — ver ../../administracao/credenciais-e-rotacao.md.

  • Secret Access Key (secretAccessKey)

Los secretos nunca se reexponen y pasan por la redacción en todo error/log (token crudo, URL-encoded y en JSON).

Campos del formulario#

CampoEtiquetaTipoObligatorioObservación
bucketBuckettextosí—
regionRegiãotextosí—
prefixPrefixo / pastatextono—
accessKeyIdAccess Key IDtextosí—
secretAccessKey 🔒Secret Access Keycontraseña/secretosísecreto (cifrado; cofre externo opcional)

Paso a paso#

  1. En el menú Dados → Conexões, use Nova conexão.
  2. Elija Amazon S3 en el catálogo.
  3. Complete los campos del formulario (vea la tabla arriba).
  4. Use Testar conexão. El resultado viene separado en tres capacidades, cada una con OK, Falló, No se aplica o No probado. En esta ficha significan: Rede — el endpoint del servicio de almacenamiento es alcanzable desde el servidor de la aplicación; Autenticação — la credencial del formulario (clave de acceso o cuenta de servicio, no usuario y contraseña) fue aceptada; Leitura — fue posible listar os objetos do bucket/container sob o prefixo informado (la cuenta mostrada es de objetos visibles, no de tablas).
  5. Use Salvar conexão. Guardar NO inicia ninguna ingestión.
  6. En la tarjeta de la conexión, use Montar extração (o vaya a Orquestração → Pipelines y use Conectar fonte). El pipeline apunta a la conexión guardada — la credencial no se copia.
  7. En la revisión, Publicar (agenda desligada) crea la versión 1 sin ejecutar nada. Después, Ativar agenda y Executar agora son acciones separadas.

Ejemplo — prueba de conexión#

Configuración de ejemplo (todos los valores son ficticios; secretos aparecen enmascarados):

text
# Exemplo sintético (valores fictícios — não são credenciais reais)
bucket = meu-bucket-exemplo
region = us-east-1
prefix = dados/2026/
accessKeyId = AKIAEXEMPLOFICTICIO0
secretAccessKey = •••••• (cifrado — nunca exibido)

Resultado esperado#

El Testar conexão devuelve la cantidad de objetos visibles bajo el prefijo informado. Tras la primera carga, el contenido de esos archivos aparece en la capa Bronze de su workspace, listo para el pipeline.

Límites y costos#

  • Paginación: techo duro por ejecución (default 10.000 páginas / 5.000.000 líneas); protección anti-bucle.
  • Volumen estimado: ~3 GB/mes (estimación de catálogo, no medición).
  • **

Seguridad#

  • Alcance por workspace: cada cliente lee y escribe solo en su propio datalake (<prefixo>_bronze / _silver / _gold); nunca hay filtración entre workspaces.
  • Secretos cifrados: material sensible se cifra con AES-256-GCM antes de ser almacenado. El cofre externo de credenciales es opcional y se conecta por conexión; sin él, el valor cifrado queda en la base. Cambiar el valor aquí NO revoca la credencial en el origen.
  • Redacción: todo error/log pasa por la redacción de secretos (crudo, URL-encoded y en JSON).
  • Producción no simula: un camino que en pruebas sería mock activa la protección de producción (falla explícita en lugar de simular éxito).

Errores comunes#

  • Autenticação falhou — la credencial de este conector NO es usuario y contraseña: es clave de acceso (o cuenta de servicio). Verifique el par informado en el formulario y si aún está activo en el proveedor.
  • Listagem negada — la credencial autentica pero no puede listar el bucket. Conceda listado del bucket y lectura de los objetos bajo el prefijo; permiso de lectura sin listado no basta, porque el pipeline necesita descubrir qué archivos existen.
  • Bucket/prefixo inexistente ou vazio — verifique el nombre exacto del bucket y el prefijo (carpeta). Prefijo sin ningún objeto devuelve cero objetos visibles, no un error.
  • Arquivo em formato não suportado — el object storage transporta archivos; el pipeline debe poder leer el contenido (CSV, JSON o Parquet). Un objeto en otro formato se ignora o falla en la carga, según la política del pipeline.

Solución de problemas#

  • Use Testar conexão para aislar problemas de credencial/red antes de programar.
  • Siga las ejecuciones en la observabilidade por conector (tasa de error, p50/p95, freshness).
  • Un cambio de esquema en el origen se señala por el schema drift (columna nueva = info; columna removida/tipo cambiado = atención).

Relacionados#


Última revisión: 2026-10-04. Ficha generada automáticamente del catálogo de conectores del producto.

Enlaces relacionados