Además de las etapas guiadas y en SQL libre, una tabla Silver o Gold puede producirse con un notebook. El pipeline ejecuta la versión publicada del notebook como un job Spark, en el orden de las otras etapas, cada vez que el pipeline se ejecuta — por la programación, con Ejecutar ahora o al reprocesar un período.
Antes: crea y publica el notebook. Ver Notebooks y clústeres Spark.
Crear la etapa#
1. Abre la capa
En el detalle del pipeline, ve a la capa Silver (o Gold). Junto a Nueva Silver (o Nueva Gold), haz clic en Notebook.
2. Elige el notebook
En Notebook publicado, elige el notebook y, en Versión, la versión que ejecutará el pipeline (la más reciente viene marcada).
3. Indica dónde escribir
En Tabla de destino, pon el nombre de la tabla que produce la etapa. En Carga, elige Reemplazar la tabla o Agregar filas.
4. Elige dónde se ejecuta
Clúster solo para esta ejecución (enciende, ejecuta y apaga) es el valor predeterminado y el más seguro. En un clúster ya encendido usa un clúster tuyo que ya está encendido.
5. Parámetros (opcional) y guardar
En Parámetros, uno por línea con el formato
nombre=valor. Haz clic en Guardar etapa.
Si la lista de notebooks viene vacía, la pantalla avisa: "Todavía no hay notebooks publicados. El pipeline solo ejecuta versiones publicadas de un notebook." Publica una versión en el editor (Publicar versión) y vuelve.
El borrador nunca se ejecuta en el pipeline. Para llevar un cambio del notebook al pipeline, publica una versión nueva y elígela en la etapa.
Qué encuentra listo el notebook#
Cuando se ejecuta como etapa, el notebook ya tiene estas variables:
| Variable | Qué contiene |
|---|---|
spark | la sesión Spark, ya conectada a tu datalake |
TABELA_ALVO | el nombre completo de la tabla de destino de la etapa |
CAMADA | silver o gold |
PARAMETROS | los parámetros de la etapa, como diccionario de texto (PARAMETROS["nome"]) |
RUN_ID | el identificador de la ejecución del pipeline |
RUN_INTERVAL_START, RUN_INTERVAL_END | el período pedido al reprocesar (fecha ISO) o None |
Dónde escribe la etapa#
La etapa escribe en la tabla de destino, de una de estas dos formas:
- El notebook tiene celda SQL. La última celda SQL se convierte en la tabla de destino: reemplaza o agrega, según la Carga elegida. Las celdas SQL anteriores se ejecutan como pasos intermedios.
- El notebook es solo Python. Tu código escribe en
TABELA_ALVO— por ejemplo, escribiendo el DataFrame final con el modo de escritura que quieras.
Ejemplo: un parámetro uf_minima=10 en la etapa llega al código como texto.
minimo = int(PARAMETROS.get("uf_minima", "0"))
print(f"Gravando em {TABELA_ALVO} (camada {CAMADA}), mínimo {minimo}")El notebook solo puede escribir en los datasets de tu propio workspace.
Reglas de la conversión#
- Las celdas se ejecutan en orden; las celdas de texto se ignoran.
%%sqlen la primera línea de una celda de código la convierte en SQL (común en.ipynbimportado).- Los comandos de notebook interactivo (
%pip,!ls,%matplotlib) no existen en un job: la etapa los rechaza y señala la celda. Las bibliotecas vienen de Bibliotecas Python adicionales, en la pantalla del clúster.
Dónde se ejecuta y cuánto cuesta#
| Dónde se ejecuta | Cómo cobra |
|---|---|
| Clúster solo para esta ejecución (predeterminado) | se crea un clúster para la ejecución, se usa y se elimina al final, aunque falle. Pagas su tiempo de vida (contando los minutos para encenderlo), una vez por ejecución — un nuevo intento no cobra dos veces |
| En un clúster ya encendido | no cobra aparte: el clúster encendido ya cobra por hora |
Clúster encendido con notebook abierto
Si alguien tiene un notebook abierto en el clúster elegido, la sesión retiene las máquinas y la etapa puede esperar varios minutos para empezar. Para un pipeline programado, prefiere el clúster solo para la ejecución.
El costo de la etapa aparece en el costo de la ejecución, en ETL/ELT → Ejecuciones.
Límites#
- Encender el clúster tarda algunos minutos; una etapa notebook hace que la ejecución del pipeline sea más larga que una etapa SQL.
- Bronze de archivo y etapa notebook en la misma ejecución no se ejecutan juntas: ejecuta la Bronze y, después, la capa del notebook.