Todos los ejemplos son sintéticos (dominios
.example, credenciales ficticias).
Leer antes: Como os dados fluem (visão geral). La referencia conceptual y de estado vive en las páginas de
data/; aquí están los paso a paso.
Conectar una fuente#
| Tutorial | Cubre |
|---|---|
| Conectar PostgreSQL | Base relacional por pull, prueba de conexión, SSL, red (allowlist/VPN/SSH) |
| Conectar data warehouse | Data warehouse del cliente como fuente, proyecto de datos × billing, cuenta de servicio |
| Importar um arquivo | Push de CSV/JSON/Parquet a la landing y carga en Bronze |
| Conectar uma API REST genérica | Sistema sin conector listo: URL, ruta de la lista, paginación (página/offset/URL), token Bearer, columnas descubiertas |
Ejecutar el pipeline#
| Tutorial | Cubre |
|---|---|
| Criar pipeline full | Carga completa fuente → Bronze → Silver → Gold → publish |
| Criar pipeline incremental (watermark) | Delta por marca de agua (KEYSET/upsert); no es CDC |
| Executar backfill | Histórico anterior a la ventana; full puntual, ventana amplia, checkpoint |
| Construir Bronze/Silver/Gold | La arquitectura de medallón capa por capa, con transformaciones versionadas |
| Acrescentar uma coluna numa tabela Silver ou Gold | Llevar un dato nuevo (ej.: clicks) a una tabla lista: editar la receta, ejecutar y actualizar el panel |
Calidad y fallas#
| Tutorial | Cubre |
|---|---|
| Criar validação de qualidade | Reglas de la Silver, deduplicación, rechazados, schema drift |
| Tratar falha e DLQ | Retry con backoff, DLQ, reconciliación de capas |
Secuencia sugerida para quienes están empezando#
- Conecte una fuente — comience por una base de datos, un data warehouse o un archivo.
- Ejecute un pipeline full para llevar los datos hasta Gold.
- Valide la calidad.
- Optimice con incremental por watermark y traiga el histórico con backfill.
- Prepárese para fallas con la guía de DLQ.
Convenciones de estos tutoriales#
- Honestidad primero: nada aquí promete recurso inexistente. Carga incremental es por watermark (CDC es Roadmap). Amazon S3, GCS y Azure Blob Storage están en Acceso limitado (la página de cada conector indica la condición).
- Ejemplos sintéticos: hosts
*.example, proyectos/credenciales ficticios, cero PII.
Última revisión: 2026-09-08.