Lea antes:
../conectores.md(mapa de estados) yfichas.md(índice de las fichas).
Qué es#
Lee las tablas de un catálogo y esquema de Databricks mediante la Statement Execution API (consultas SQL paginadas en el SQL Warehouse) y carga en la capa Bronze.
Modos de ingestión soportados:
- Nosotros buscamos — Nosotros buscamos los datos en su fuente.
Para qué sirve#
Traer los datos de Databricks SQL a su datalake y ponerlos a disposición de las capas Bronze/Silver/Gold, de los modelos de BI y del asistente de preguntas en lenguaje natural.
Cuándo usar / cuándo no usar#
Use cuando usted necesita consolidar esta fuente en el datalake de forma agendada, con aislamiento por workspace.
Recuerde que la primera ejecución con credencial real la acompaña nuestro equipo antes de la liberación completa del conector.
Plan y permisos#
- Plan: núcleo del producto (conectores forman parte de todos los planes; el límite es el número de fuentes del plan).
- Acceso: requiere workspace activo — con la suscripción en atraso, suspendida o cancelada, la ejecución queda bloqueada.
- Desactivación: la ejecución de ingestión puede desactivarse temporalmente (mantenimiento o incidente). Cuando esto ocurre, la pantalla informa que el recurso está indisponible en ese momento.
Requisitos previos#
- Una cuenta Databricks SQL con acceso a los datos que desea ingerir.
- En Databricks, genere un token de acceso personal (Configuraciones del usuario → Desarrollador → Tokens de acceso) y copie el ID del SQL Warehouse (SQL Warehouses → Detalles de la conexión). Indique la URL del workspace, el catálogo y el esquema a leer. El token se cifra (AES-256-GCM) y nunca se muestra de nuevo.
Credenciales#
Forma de autenticación: Token de acceso pegado por usted. Está cifrado (AES-256-GCM) y nunca se muestra de nuevo, ni aparece en logs o mensajes de error.
Campos sensibles. Están cifrados (AES-256-GCM) y nunca quedan en el config de la conexión, en la definición del pipeline, en el export o en la DAG. Por defecto el valor cifrado queda en la base de datos; mover la credencial de esta conexión al cofre externo de credenciales es una elección explícita, hecha por conexión después de guardar — ver ../../administracao/credenciais-e-rotacao.md.
- Token de acceso personal (
tokenAcesso) — Token de acceso personal (PAT) de un usuario con SELECT en el esquema.
Los secretos nunca se vuelven a mostrar y pasan por la redacción en todo error/log (token crudo, URL-encoded y en JSON).
Campos del formulario#
| Campo | Etiqueta | Tipo | Obligatorio | Observación |
|---|---|---|---|---|
urlWorkspace | URL del workspace | texto | sí | Dirección del workspace Databricks, sin ruta. |
warehouseId | ID del SQL Warehouse | texto | sí | En SQL Warehouses → el warehouse → Detalles de la conexión. |
catalogo | Catálogo | texto | sí | predeterminado: main; Catálogo del Unity Catalog (ej.: main). |
schema | Esquema | texto | sí | predeterminado: default; Solo las tablas de este esquema son listadas. |
tokenAcesso 🔒 | Token de acceso personal | contraseña/secreto | sí | secreto (cifrado; cofre externo opcional); Token de acceso personal (PAT) de un usuario con SELECT en el esquema. |
Paso a paso#
- En el menú Dados → Conexões, use Nova conexão.
- Elija Databricks SQL en el catálogo.
- Complete los campos del formulario (vea la tabla arriba).
- Use Testar conexão. El resultado viene separado en Conectividade, Autenticação y Listagem/leitura — cada uno con OK, Falló, No aplica o No probado. Una capacidad sin prueba propia para este conector aparece como No aplica, y No aplica nunca cuenta como éxito.
- Use Salvar conexão. Salvar NO inicia ninguna ingestión.
- En la tarjeta de la conexión, use Montar extração (o vaya a Orquestração → Pipelines y use Conectar fonte). El pipeline apunta a la conexión guardada — la credencial no es copiada.
- En la revisión, Publicar (agenda desligada) crea la versión 1 sin ejecutar nada. Después, Ativar agenda y Executar agora son acciones separadas.
Ejemplo — prueba de conexión#
Configuración de ejemplo (todos los valores son ficticios; los secretos aparecen enmascarados):
# Exemplo sintético (valores fictícios — não são credenciais reais)
urlWorkspace = <urlWorkspace>
warehouseId = <warehouseId>
catalogo = main
schema = public
tokenAcesso = •••••• (cifrado — nunca exibido)Resultado esperado#
El Testar conexão devuelve la lista de tablas/recursos descubiertos. Tras la primera carga, las filas aparecen en la capa Bronze de su workspace, listas para el pipeline.
Límites y costos#
- Paginación: tope duro por ejecución (por defecto 10.000 páginas / 5.000.000 líneas); guarda anti-loop.
- Carga SaaS: por defecto
batchSize5.000,maxRows200.000 por recurso. - Volumen estimado: ~1 GB/mes (estimación de catálogo, no medición).
- **
Seguridad#
- Ámbito por workspace: cada cliente lee y escribe solo en su propio datalake (
<prefixo>_bronze/_silver/_gold); nunca hay filtración entre workspaces. - Secretos cifrados: el material sensible se cifra con AES-256-GCM antes de guardarse. El cofre externo de credenciales es opcional y se conecta por conexión; sin él, el valor cifrado queda en la base de datos. Cambiar el valor aquí NO revoca la credencial en el origen.
- Redaction: todo error/log pasa por la redacción de secretos (crudo, URL-encoded y en JSON).
- Producción no finge: un camino que caería en mock activa la guardia de producción (falla explícita en lugar de simular éxito).
Errores comunes#
- Credencial rechazada (401/403) — el proveedor no aceptó la credencial: expirada, revocada o sin el permiso necesario. Reconecte la fuente (la fuente y el historial se preservan; no recree la fuente).
- Límite de solicitudes (429) — el proveedor pidió esperar. La extracción respeta
Retry-Aftery reintenta; si se repite, espere y reduzca la frecuencia de la agenda. - Recurso no encontrado — revise el identificador del recurso (cuenta, objeto, informe) y los permisos concedidos.
- Cursor de paginación bloqueado — la extracción finaliza cuando el cursor de la API no avanza (protección anti-loop). Si ocurre en ejecuciones seguidas, abra un llamado con el soporte indicando el conector y el recurso.
- Ruta de registros vacía — la respuesta llegó sin registros en el lugar esperado. Revise el recurso seleccionado y los filtros (período, cuenta, estado) antes de asumir que no hay datos.
Solución de problemas#
- Use Testar conexão para aislar problemas de credencial/red antes de agendar.
- Monitoree las ejecuciones en la observabilidad por conector (tasa de error, p50/p95, freshness).
- Un cambio de esquema en el origen se señala por el schema drift (columna nueva = info; columna eliminada/tipo cambiado = atención).
Relacionados#
../conectores.md— catálogo de conectores por estado../ingestao-incremental-backfill.md— full, incremental por watermark, backfill y checkpoint../pipeline-medalhao.md— capas Bronze/Silver/Gold y calidad../agendamento-retry-dlq.md— agendamento, retry/backoff y DLQ../custo-limites-seguranca.md— costo, topes y seguridad por workspace
Última revisión: 2026-10-04. Ficha generada automáticamente del catálogo de conectores del producto.