El conector BigQuery se puede registrar y usar hoy, sin liberación caso a caso. La extracción depende de la service account de su cuenta y de que el entorno en la nube del workspace esté configurado — sin él la ejecución falla con un mensaje. Ejemplos sintéticos.
Lee antes: Cómo fluyen los datos · Catálogo de conectores.
Qué es#
Conectar el BigQuery de TU proyecto como fuente de extracción (modo pull). Aquí Ingestia lee tablas de tu BigQuery con tu service account y las trae a la capa Bronze de tu workspace — igual que el pull de una base de datos relacional.
No lo confundas con el BigQuery interno de Ingestia (el datalake destino, que corre con nuestra service account). Este tutorial trata de usar tu BigQuery como origen.
Para qué sirve#
Reaprovechar datos que ya están en tu data warehouse BigQuery (ej.: exportaciones de sistemas, tablas de marketing) dentro del datalake de Ingestia.
Cuándo usar / cuándo no usar#
- Úsalo cuando: tus datos ya están en tablas de BigQuery y puedes crear una service account de lectura.
- No lo uses cuando: los datos están en una base de datos relacional (usa el conector de la base) o en archivos (usa importar archivo).
Plan y permisos#
- Núcleo del producto · verificación de acceso · interruptor de apagado de ejecución de ingesta.
- Roles mínimos de la service account del cliente:
roles/bigquery.dataVieweren el proyecto de datos;roles/bigquery.jobUseren el proyecto de billing (o en el de datos, si es único).
Requisitos previos#
- Proyecto de datos (Project ID) — donde viven los datasets/tablas.
- Proyecto de billing (opcional) — donde corren los jobs de consulta y se cobran; vacío = paga el propio proyecto de datos.
- JSON de la service account con los roles anteriores.
- Opcional: dataset específico y location (ej.:
US,southamerica-east1).
Paso a paso#
- En la consola, ve a ETL/ELT → Conexiones y elige BigQuery (categoría Bases de datos).
- Proyecto de los datos (Project ID) — ej.:
meu-projeto-example. - Cobro de las consultas (billing):
En el mismo proyecto de los datos(por defecto), oEn otro proyecto→ indica el Proyecto de billing (ej.:meu-projeto-billing).
- Dataset — ej.:
vendas(opcional; vacío lista todos los accesibles). - Location — ej.:
southamerica-east1(opcional; vacío = automático). - Clave de la service account (JSON) — pega el JSON de la service account del cliente (se cifra; nunca se vuelve a mostrar).
- Haz clic en Probar conexión y confirma que aparecen los datasets/tablas.
- Selecciona las tablas y guarda la fuente.
Ejemplo (sintético)#
Projeto de dados: meu-projeto-example
Billing: Em outro projeto
Projeto de billing: meu-projeto-billing
Dataset: vendas
Location: southamerica-east1
Service account: { "type": "service_account", "project_id": "meu-projeto-example",... }Conceder acceso (ejemplo con gcloud, valores ficticios):
# Lectura de los datos
gcloud projects add-iam-policy-binding meu-projeto-example \
--member="serviceAccount:ingestia-ro@meu-projeto-example.iam.gserviceaccount.com" \
--role="roles/bigquery.dataViewer"
# Ejecutar jobs de consulta (en el proyecto de billing)
gcloud projects add-iam-policy-binding meu-projeto-billing \
--member="serviceAccount:ingestia-ro@meu-projeto-example.iam.gserviceaccount.com" \
--role="roles/bigquery.jobUser"Resultado esperado#
- Probar conexión OK y el descubrimiento lista los datasets/tablas accesibles.
- En la carga, Ingestia crea el job de consulta y hace un probe de 1 fila (descartada) para validar el SQL/partición antes de enviar cualquier fragmento — así un retry nunca duplica datos en la landing.
- Las tablas con
require_partition_filterse manejan automáticamente: Ingestia arma un predicado que cubre todas las filas en lugar de fallar.
Límites y costos#
- Extracción fragmentada:
batchSizepor defecto 5.000 (100–50.000);maxRowspor defecto 200.000 (hasta 5.000.000). - Las consultas a tu BigQuery se cobran en tu proyecto de billing (modelo on-demand de BigQuery). Ingestia muestra una estimación; el monto cobrado es el de la factura de tu proyecto.
- La carga al Bronze de Ingestia es una operación de carga cobrable del lado de Ingestia.
Seguridad#
- Los identificadores (proyecto/dataset/tabla/columna de watermark) se sanean antes de
entrar en el SQL; el filtro incremental usa un parámetro nombrado (
@since), nunca concatenación. - La clave JSON de la service account se cifra y se redacta en cualquier error/log.
- Alcance por workspace: los datos van al Bronze de tu workspace.
Errores comunes#
| Síntoma | Causa probable | Qué hacer |
|---|---|---|
Access Denied:... dataViewer | SA sin lectura en los datos | Concede roles/bigquery.dataViewer en el proyecto de datos |
User does not have bigquery.jobs.create | SA sin jobUser en billing | Concede roles/bigquery.jobUser en el proyecto de billing |
Cannot query... requires a filter | tabla con partición obligatoria | Ingestia lo maneja solo; si persiste, indica la columna de partición |
Not found: Dataset | dataset/location incorrectos | Revisa el nombre del dataset y la location |
| JSON inválido | clave pegada incompleta | Pega el JSON completo de la service account |
Solución de problemas#
- Usa Probar conexión para separar permiso (dataViewer/jobUser) de configuración (dataset/location).
- Confirma que la service account tiene acceso al proyecto de billing correcto cuando billing y datos son proyectos diferentes.
Relacionados#
- Conectar PostgreSQL
- Crear pipeline incremental por watermark
- Costo, límites y seguridad por workspace
Última revisión: 2026-09-08.