Esta página es un inventario de interfaz: lo que está escrito aquí es el texto que aparece en la pantalla, literalmente.
Dónde está: menú ETL/ELT → Notebooks.
Un notebook es una secuencia de celdas que se ejecutan en tu clúster Spark: Python puro (pandas, por ejemplo), PySpark y SQL. Sirve para explorar los datos, probar transformaciones y crear tablas nuevas. El código es Spark común: se ejecuta igual en cualquier PySpark, sin nada propietario.
Ver los notebooks (/notebooks)#
Los notebooks aparecen agrupados por carpeta; los que no tienen carpeta quedan en Sin carpeta. Cada uno muestra la versión publicada o Borrador. Para crear uno, haz clic en Nuevo notebook.
Crear o importar (/notebooks/novo)#
- Ponle un nombre y, si quieres, una Carpeta (opcional) (ej.:
Ventas/Mensual). - Para empezar de cero, haz clic en Crear notebook: ya trae ejemplos de pandas, PySpark leyendo tu capa Silver y SQL.
- Para traer un notebook de otro lugar, elige el archivo
.ipynby haz clic en Importar notebook. Las salidas no se importan; las celdas se vuelven a ejecutar en tu clúster.
Escribir y ejecutar (/notebooks/<id>)#
Arriba a la derecha, haz clic en Conectar a un clúster y elige dónde se ejecutarán las celdas (cada uno muestra su estado y costo por hora). Si el clúster está apagado, usa encender y conectar — encender tarda unos minutos. Conectado, el clúster aparece como una etiqueta con nombre, estado y R$/hora; haz clic para Desconectar, cambiar de clúster, Encender el clúster o apagarlo, o Reiniciar la sesión. Desconectar no apaga el clúster: sigue cobrando hasta que lo apagues.
La barra de íconos (pasa el mouse para ver el nombre de cada uno):
| Quieres | Haz |
|---|---|
| Ejecutar una celda | ▶ al lado de la celda, o Shift+Enter (pasa a la siguiente) |
| Ejecutar todo el notebook | Ejecutar todas las celdas |
| Detener lo que se está ejecutando | Interrumpir |
| Empezar la sesión de cero (borra las variables) | Reiniciar la sesión |
| Llevar el notebook a otra herramienta | Descargar el notebook (.ipynb) |
| Congelar la versión que ejecutarán los pipelines | Publicar versión |
Cada celda tiene un Nombre de la celda (aparece arriba de ella y en el programa del pipeline) y los atajos de teclado de Jupyter: Esc sale de la edición, A/B crean una celda arriba/abajo, D D borra, M la vuelve texto, Y código.
Cada celda tiene un tipo: Python / PySpark, SQL o Texto (Markdown). La celda SQL se ejecuta en Spark y muestra el resultado como tabla (hasta 1.000 filas). El borrador se guarda solo con cada cambio.
Bibliotecas
- Solo en esta sesión: en una celda Python, ejecuta
%pip install paquete. Vale solo para la sesión abierta y solo en la máquina principal del clúster. - En todas las máquinas (necesario para usarla dentro de funciones distribuidas de Spark, las UDFs): agrega la biblioteca en Bibliotecas Python adicionales, en la pantalla del clúster.
Lo que no se ejecuta
Los comandos de terminal no se ejecutan en el clúster: las líneas que empiezan
con ! y las celdas %%bash, %%sh o %system se rechazan con el aviso
Comando no permitido. Usa Python para el mismo trabajo.