Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

Actualizado el 2026-10-05

Notebooks y clústeres Spark — qué son y cómo usarlos

El concepto de clúster y de notebook, cuándo usar cada uno, cuánto cuesta y el paso a paso para crear un clúster, escribir un notebook y llevarlo al pipeline.

En esta página (7)

Cuando la transformación va más allá de lo que cabe en un SQL — limpiar texto, aplicar un modelo de pronóstico, cruzar archivos grandes, usar una biblioteca Python — escribes un notebook y lo ejecutas en un clúster Spark de tu workspace.

Los dos conceptos#

Qué esPagas
Clústerel conjunto de máquinas Spark donde se ejecuta el código. Eliges el tamaño, lo enciendes cuando lo vas a usar y se apaga solo después de un tiempo inactivosolo mientras está encendido, por hora, del saldo de créditos
Notebookuna secuencia de celdas — Python / PySpark, SQL o Texto (Markdown) — que escribes y ejecutas celda por celda, viendo el resultado al instantenada además del clúster donde se ejecuta

El código es Spark común: un notebook de aquí se ejecuta igual en cualquier PySpark, y puedes importar y descargar notebooks en formato .ipynb (Jupyter).

El notebook lee y escribe en las capas de tu datalake (Bronze, Silver y Gold). El clúster solo ve los datos de tu workspace — ningún otro.

Cuándo usar notebook, y cuándo no#

QuieresUsa
Unir, filtrar y agregar tablasuna etapa Silver/Gold guiada o en SQL libre — más simple y más barata
Explorar los datos, probar una idea, investigar un númeroun notebook en un clúster encendido
Una transformación en Python (biblioteca, modelo, regla difícil en SQL) que se ejecute todos los díasun notebook publicado como etapa del pipeline

Paso a paso#

  1. 1. Crea un clúster

    En ETL/ELT → Clústeres, haz clic en Nuevo clúster. Ponle un nombre, elige el Tamaño (Pequeño basta para empezar) y el tiempo de Apagar solo después de estar inactivo por. Revisa la Proyección de costo y haz clic en Crear clúster.

  2. 2. Enciende el clúster

    En el detalle del clúster, haz clic en Encender. Pasa por Encendiendo y queda Encendido en unos 6 minutos.

  3. 3. Crea un notebook

    En ETL/ELT → Notebooks, haz clic en Nuevo notebook y luego en Crear notebook (ya trae ejemplos de pandas, PySpark y SQL) — o elige un archivo .ipynb y haz clic en Importar notebook.

  4. 4. Conecta y ejecuta

    En el editor, haz clic en Conectar a un clúster, elige el clúster y ejecuta las celdas (▶ o Shift+Enter). Usa Ejecutar todas las celdas para el notebook entero.

  5. 5. Publica una versión

    Cuando el notebook esté listo para ejecutarse solo, haz clic en Publicar versión. Solo las versiones publicadas entran en un pipeline.

  6. 6. Apaga el clúster

    ¿Terminaste? Haz clic en Apagar en el clúster. Si lo olvidas, se apaga solo en el tiempo que elegiste.

Lista de clústeres con Nombre, Estado, Tamaño, Costo por hora y Gasto del mes, y el botón Nuevo clúster
Editor de notebook con celdas de texto, Python / PySpark y SQL, el resultado de la consulta en tabla y, arriba, el clúster elegido y el botón Publicar versión

Costo#

  • El clúster cobra por hora encendido, según el tamaño elegido. La pantalla de creación muestra la Proyección de costo (por hora, 8 horas de uso, mes laboral y cuánto cubre tu saldo).
  • Para encenderlo, el saldo debe cubrir al menos una hora. Si el saldo se acaba con el clúster encendido, se apaga solo.
  • Desconectar un notebook no apaga el clúster. Lo que detiene el cobro es Apagar (o el apagado automático).
  • Tu plan define cuántos clústeres pueden estar encendidos al mismo tiempo y el tamaño máximo de cada uno.
  • Una etapa notebook de pipeline, por defecto, enciende un clúster solo para esa ejecución y lo elimina al final — pagas solo los minutos de la ejecución.

Bibliotecas#

  • Solo en esta sesión: %pip install paquete en una celda Python.
  • Para siempre y en todas las máquinas (obligatorio para funciones distribuidas, las UDFs, y para la etapa de pipeline): agrega la biblioteca en Bibliotecas Python adicionales, en la pantalla del clúster.

Límites#

  • Los comandos de terminal (!comando, %%bash, %%sh, %system) no se ejecutan: la pantalla los rechaza con Comando no permitido.
  • La celda SQL muestra hasta 1.000 filas de resultado.
  • Encender un clúster tarda algunos minutos; para respuestas inmediatas, usa la Consola de datos o una consulta.

Dónde leer más#

Enlaces relacionados