Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-10-05

Etapa notebook en Silver o Gold — ejecutar un notebook dentro del pipeline

Cómo poner un notebook publicado como etapa Silver o Gold del pipeline, qué encuentra listo el código (spark, TABELA_ALVO, PARAMETROS), dónde escribe la etapa y dónde se ejecuta.

En esta página (7)

Además de las etapas guiadas y en SQL libre, una tabla Silver o Gold puede producirse con un notebook. El pipeline ejecuta la versión publicada del notebook como un job Spark, en el orden de las otras etapas, cada vez que el pipeline se ejecuta — por la programación, con Ejecutar ahora o al reprocesar un período.

Antes: crea y publica el notebook. Ver Notebooks y clústeres Spark.

Crear la etapa#

  1. 1. Abre la capa

    En el detalle del pipeline, ve a la capa Silver (o Gold). Junto a Nueva Silver (o Nueva Gold), haz clic en Notebook.

  2. 2. Elige el notebook

    En Notebook publicado, elige el notebook y, en Versión, la versión que ejecutará el pipeline (la más reciente viene marcada).

  3. 3. Indica dónde escribir

    En Tabla de destino, pon el nombre de la tabla que produce la etapa. En Carga, elige Reemplazar la tabla o Agregar filas.

  4. 4. Elige dónde se ejecuta

    Clúster solo para esta ejecución (enciende, ejecuta y apaga) es el valor predeterminado y el más seguro. En un clúster ya encendido usa un clúster tuyo que ya está encendido.

  5. 5. Parámetros (opcional) y guardar

    En Parámetros, uno por línea con el formato nombre=valor. Haz clic en Guardar etapa.

Si la lista de notebooks viene vacía, la pantalla avisa: "Todavía no hay notebooks publicados. El pipeline solo ejecuta versiones publicadas de un notebook." Publica una versión en el editor (Publicar versión) y vuelve.

El borrador nunca se ejecuta en el pipeline. Para llevar un cambio del notebook al pipeline, publica una versión nueva y elígela en la etapa.

Qué encuentra listo el notebook#

Cuando se ejecuta como etapa, el notebook ya tiene estas variables:

VariableQué contiene
sparkla sesión Spark, ya conectada a tu datalake
TABELA_ALVOel nombre completo de la tabla de destino de la etapa
CAMADAsilver o gold
PARAMETROSlos parámetros de la etapa, como diccionario de texto (PARAMETROS["nome"])
RUN_IDel identificador de la ejecución del pipeline
RUN_INTERVAL_START, RUN_INTERVAL_ENDel período pedido al reprocesar (fecha ISO) o None

Dónde escribe la etapa#

La etapa escribe en la tabla de destino, de una de estas dos formas:

  1. El notebook tiene celda SQL. La última celda SQL se convierte en la tabla de destino: reemplaza o agrega, según la Carga elegida. Las celdas SQL anteriores se ejecutan como pasos intermedios.
  2. El notebook es solo Python. Tu código escribe en TABELA_ALVO — por ejemplo, escribiendo el DataFrame final con el modo de escritura que quieras.

Ejemplo: un parámetro uf_minima=10 en la etapa llega al código como texto.

python
minimo = int(PARAMETROS.get("uf_minima", "0"))
print(f"Gravando em {TABELA_ALVO} (camada {CAMADA}), mínimo {minimo}")

El notebook solo puede escribir en los datasets de tu propio workspace.

Reglas de la conversión#

  • Las celdas se ejecutan en orden; las celdas de texto se ignoran.
  • %%sql en la primera línea de una celda de código la convierte en SQL (común en .ipynb importado).
  • Los comandos de notebook interactivo (%pip, !ls, %matplotlib) no existen en un job: la etapa los rechaza y señala la celda. Las bibliotecas vienen de Bibliotecas Python adicionales, en la pantalla del clúster.

Dónde se ejecuta y cuánto cuesta#

Dónde se ejecutaCómo cobra
Clúster solo para esta ejecución (predeterminado)se crea un clúster para la ejecución, se usa y se elimina al final, aunque falle. Pagas su tiempo de vida (contando los minutos para encenderlo), una vez por ejecución — un nuevo intento no cobra dos veces
En un clúster ya encendidono cobra aparte: el clúster encendido ya cobra por hora

Clúster encendido con notebook abierto

Si alguien tiene un notebook abierto en el clúster elegido, la sesión retiene las máquinas y la etapa puede esperar varios minutos para empezar. Para un pipeline programado, prefiere el clúster solo para la ejecución.

El costo de la etapa aparece en el costo de la ejecución, en ETL/ELT → Ejecuciones.

Límites#

  • Encender el clúster tarda algunos minutos; una etapa notebook hace que la ejecución del pipeline sea más larga que una etapa SQL.
  • Bronze de archivo y etapa notebook en la misma ejecución no se ejecutan juntas: ejecuta la Bronze y, después, la capa del notebook.

Relacionados#

Enlaces relacionados