Saltar al contenido

Traducción automática — la versión en portugués es la referencia. Ver en portugués

INGESTIA DATA — Documentación pública de Datos

En esta página (5)

Qué es esta carpeta. Documentación pública, escrita por el estado REAL del producto (no por promesa), de la capa de Datos de ingestia.io: los conectores y todo el pipeline de datalake — ingestión, medallón Bronze/Silver/Gold, profiling, schema drift, calidad, deduplicación, transformaciones, agendamiento, retry, DLQ, costo, límites y seguridad por workspace. Datos de ejemplo son sintéticos.


Operación del pipeline queda en Orquestração

Publicación en versiones, agenda y zona horaria, ejecución (tarea/intento/log) y recuperación de falla tienen guías propias en Orquestração. Las páginas de operación que ya estaban aquí continúan en las mismas direcciones — nada se movió.

¿Buscando el nombre de un botón?

Esta carpeta explica el cómo funciona. El nombre exacto de cada botón, pantalla por pantalla, está en la Guía de pantallas: Conexões · Pipelines · Execuções · Console de dados · Seu datalake · Consultas · Linhagem · Governança · Conectar BI.

Páginas#

PáginaCubre
conectores.mdCatálogo de conectores por estado (Disponível · Acesso limitado · Planejado) y por categoría, SDK común, suite de contrato, certificación de 30 días
pipeline-medalhao.mdMedallón Bronze→Silver→Gold, calidad, deduplicación, profiling, schema drift, saneamiento, transformaciones
recuperar-dados-time-travel.mdVer y recuperar una tabla como estaba en los últimos 7 días (time travel) desde la consola de Datos
ingestao-incremental-backfill.mdFull · incremental por período · incremental por llave (watermark) · backfill · checkpoint de retomada
agendamento-retry-dlq.mdAgendamiento (cron), retry/backoff, DLQ, reconciliación de capas, observabilidad por conector
custo-limites-seguranca.mdMotor de costo · tope de bytes facturables · límites/topes · alcance por workspace · redaction · PII
micro-lote-cadencia.mdCadencia lote × micro-lote (cada 5 o 15 minutos), qué lee cada ejecución, aviso de atraso
notebooks-e-clusters.mdClústeres Spark y notebooks: concepto, paso a paso y costo
etapa-notebook-silver-gold.mdNotebook publicado como etapa Silver o Gold del pipeline
formato-iceberg.mdFormato de escritura Apache Iceberg en las tablas Silver y Gold

Estado de los recursos#

Los recursos descritos en esta carpeta están disponibles en el producto, salvo cuando la página dice lo contrario.

En el catálogo de conectores cada conector tiene uno de tres estados públicos: Disponible (registro y uso en el flujo normal), Acceso limitado (la página del conector indica la condición) y Planificado (entra en el catálogo con página y logo, pero la configuración se rechaza con el motivo). Un conector solo cuenta como "en vivo" cuando está Disponible.


Plantilla obligatoria (9 campos)#

Todo flujo o conector documentado en las páginas de esta carpeta sigue este molde. Los 9 campos describen cada ítem:

  1. Estado — disponible, o la limitación concreta cuando la haya.
  2. Qué hace — descripción honesta del comportamiento real.
  3. Cómo funciona — la mecánica, en lenguaje de producto.
  4. Plan · Permiso — entitlement por plan + verificación de acceso + llave de apagado de la capacidad (``), cuando exista.
  5. Costo — bytes facturados / tope de bytes facturables. Los valores en pantalla son estimaciones; el monto cobrado es el de la factura.
  6. Límites — topes concretos del producto (páginas, filas, bytes, columnas…).
  7. Seguridad — alcance por workspace, redaction de secreto, custodia de producción, tratamiento de PII.
  8. Cómo validar — cómo confirmar el comportamiento en tu propio workspace, por el console/panel.
  9. En resumen — lo que el recurso entrega hoy.

Cómo confirmar el comportamiento (en el producto)#

Cada página trae, en el campo Cómo validar, el paso a paso para que confirmes el comportamiento en tu propio workspace, por el console/panel — sin necesidad de entorno técnico. Ningún paso depende de red externa más allá de tu propio datalake.

Los valores de costo mostrados son estimaciones; el monto cobrado es el de la factura. Los conectores marcados Disponible en el catálogo están registrados y se usan en el flujo normal, sin liberación caso a caso. Solo los conectores con la configuración rechazada, listados allí, dependen de hablar con el soporte.


Seguridad y alcance (invariante de todas las páginas)#

  • Alcance por workspace, siempre. Datalake es <prefix>_bronze / _silver / _gold y landing landing/{prefix}/... en el área de archivos, con prefix derivado del workspace (saneado a [a-zA-Z0-9_-]). Un cliente nunca lee dataset/bucket de otro.
  • Secreto nunca se fuga. Todo error/log de conector pasa por redacción de secretos — token crudo, en la URL (percent-encoded) y en JSON.
  • Producción no finge. Un camino que caería en mock acciona la custodia de producción: en producción falla con 503 en vez de simular éxito.
  • PII protegida. El profiling enmascara PII (•••) y suprime min/max/distintos; columna oculta ni aparece.

Enlaces relacionados