Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-09-08

Tutorial — conectar el BigQuery del cliente como fuente

Paso a paso para conectar tu BigQuery como origen de extracción, con proyecto de datos y proyecto de billing, service account y prueba de conexión.

En esta página (13)

El conector BigQuery se puede registrar y usar hoy, sin liberación caso a caso. La extracción depende de la service account de su cuenta y de que el entorno en la nube del workspace esté configurado — sin él la ejecución falla con un mensaje. Ejemplos sintéticos.

Lee antes: Cómo fluyen los datos · Catálogo de conectores.


Qué es#

Conectar el BigQuery de TU proyecto como fuente de extracción (modo pull). Aquí Ingestia lee tablas de tu BigQuery con tu service account y las trae a la capa Bronze de tu workspace — igual que el pull de una base de datos relacional.

No lo confundas con el BigQuery interno de Ingestia (el datalake destino, que corre con nuestra service account). Este tutorial trata de usar tu BigQuery como origen.

Para qué sirve#

Reaprovechar datos que ya están en tu data warehouse BigQuery (ej.: exportaciones de sistemas, tablas de marketing) dentro del datalake de Ingestia.

Cuándo usar / cuándo no usar#

  • Úsalo cuando: tus datos ya están en tablas de BigQuery y puedes crear una service account de lectura.
  • No lo uses cuando: los datos están en una base de datos relacional (usa el conector de la base) o en archivos (usa importar archivo).

Plan y permisos#

  • Núcleo del producto · verificación de acceso · interruptor de apagado de ejecución de ingesta.
  • Roles mínimos de la service account del cliente:
    • roles/bigquery.dataViewer en el proyecto de datos;
    • roles/bigquery.jobUser en el proyecto de billing (o en el de datos, si es único).

Requisitos previos#

  1. Proyecto de datos (Project ID) — donde viven los datasets/tablas.
  2. Proyecto de billing (opcional) — donde corren los jobs de consulta y se cobran; vacío = paga el propio proyecto de datos.
  3. JSON de la service account con los roles anteriores.
  4. Opcional: dataset específico y location (ej.: US, southamerica-east1).

Paso a paso#

  1. En la consola, ve a ETL/ELT → Conexiones y elige BigQuery (categoría Bases de datos).
  2. Proyecto de los datos (Project ID) — ej.: meu-projeto-example.
  3. Cobro de las consultas (billing):
    • En el mismo proyecto de los datos (por defecto), o
    • En otro proyecto → indica el Proyecto de billing (ej.: meu-projeto-billing).
  4. Dataset — ej.: vendas (opcional; vacío lista todos los accesibles).
  5. Location — ej.: southamerica-east1 (opcional; vacío = automático).
  6. Clave de la service account (JSON) — pega el JSON de la service account del cliente (se cifra; nunca se vuelve a mostrar).
  7. Haz clic en Probar conexión y confirma que aparecen los datasets/tablas.
  8. Selecciona las tablas y guarda la fuente.

Ejemplo (sintético)#

código
Projeto de dados: meu-projeto-example
Billing: Em outro projeto
Projeto de billing: meu-projeto-billing
Dataset: vendas
Location: southamerica-east1
Service account: { "type": "service_account", "project_id": "meu-projeto-example",... }

Conceder acceso (ejemplo con gcloud, valores ficticios):

bash
# Lectura de los datos
gcloud projects add-iam-policy-binding meu-projeto-example \
  --member="serviceAccount:ingestia-ro@meu-projeto-example.iam.gserviceaccount.com" \
  --role="roles/bigquery.dataViewer"

# Ejecutar jobs de consulta (en el proyecto de billing)
gcloud projects add-iam-policy-binding meu-projeto-billing \
  --member="serviceAccount:ingestia-ro@meu-projeto-example.iam.gserviceaccount.com" \
  --role="roles/bigquery.jobUser"

Resultado esperado#

  • Probar conexión OK y el descubrimiento lista los datasets/tablas accesibles.
  • En la carga, Ingestia crea el job de consulta y hace un probe de 1 fila (descartada) para validar el SQL/partición antes de enviar cualquier fragmento — así un retry nunca duplica datos en la landing.
  • Las tablas con require_partition_filter se manejan automáticamente: Ingestia arma un predicado que cubre todas las filas en lugar de fallar.

Límites y costos#

  • Extracción fragmentada: batchSize por defecto 5.000 (100–50.000); maxRows por defecto 200.000 (hasta 5.000.000).
  • Las consultas a tu BigQuery se cobran en tu proyecto de billing (modelo on-demand de BigQuery). Ingestia muestra una estimación; el monto cobrado es el de la factura de tu proyecto.
  • La carga al Bronze de Ingestia es una operación de carga cobrable del lado de Ingestia.

Seguridad#

  • Los identificadores (proyecto/dataset/tabla/columna de watermark) se sanean antes de entrar en el SQL; el filtro incremental usa un parámetro nombrado (@since), nunca concatenación.
  • La clave JSON de la service account se cifra y se redacta en cualquier error/log.
  • Alcance por workspace: los datos van al Bronze de tu workspace.

Errores comunes#

SíntomaCausa probableQué hacer
Access Denied:... dataViewerSA sin lectura en los datosConcede roles/bigquery.dataViewer en el proyecto de datos
User does not have bigquery.jobs.createSA sin jobUser en billingConcede roles/bigquery.jobUser en el proyecto de billing
Cannot query... requires a filtertabla con partición obligatoriaIngestia lo maneja solo; si persiste, indica la columna de partición
Not found: Datasetdataset/location incorrectosRevisa el nombre del dataset y la location
JSON inválidoclave pegada incompletaPega el JSON completo de la service account

Solución de problemas#

  • Usa Probar conexión para separar permiso (dataViewer/jobUser) de configuración (dataset/location).
  • Confirma que la service account tiene acceso al proyecto de billing correcto cuando billing y datos son proyectos diferentes.

Relacionados#


Última revisión: 2026-09-08.

Enlaces relacionados