Data, BI e IA sobre um só datalake

Objetivo: Explicar os 3 módulos e a cola (um datalake, um modelo, uma governança, um saldo)

Selo de estado: Preview (teto atual do produto) · Curso ACD-100 — Fundamentos Ingestia · Aula 1 de 10 · Atualizado em 2026-10-04.

Objetivo#

Ao final desta aula você vai explicar os 3 módulos e a cola (um datalake, um modelo, uma governança, um saldo) — e apontar, no menu do seu workspace, por onde cada módulo começa.

Vídeo#

Identificador no manifesto: acd-100-01-o-que-e-a-ingestia · duração-alvo 6 min · tela do produto: /overview.

Roteiro de gravação (6 capítulos):

#	Minutagem-alvo	Capítulo	Tela do produto
1	0:00–0:30	Abertura: título + selo `Preview`. A dor: planilhas soltas, ERP e anúncios cada um num lugar.	`/overview`
2	0:30–1:45	As três camadas, na ordem em que o dado anda: Ingestia Data → ingestia.bi → Ingestia AI (desenho da doc sobre a tela).	`/overview`
3	1:45–3:15	A cola: um datalake (`aurora_bronze/_silver/_gold`), um modelo semântico, uma governança (workspace isolado, papéis, MFA), um saldo (créditos). Mostrar os quatro cartões de resumo.	`/overview`
4	3:15–4:30	Como as camadas se conectam: BI lê do Gold; a IA fica aterrada no modelo; nada aponta para o dado cru. Entrar em BI → Workspace e IA → Consultas com IA só para mostrar as portas.	`/dashboards` · `/query`
5	4:30–5:20	O que isto ainda NÃO é: teto Preview, sem SLA, custo em BRL é projeção; quando não usar.	`/overview`
6	5:20–6:00	Encerramento: o "faça você mesmo" — localizar os seis produtos do menu e anotar plano e prefixo.	`/overview`

Conteúdo#

Por que "um só datalake"

Numa PME o dado costuma morar em vários lugares ao mesmo tempo: uma planilha de vendas, o ERP, a conta de anúncios, um banco do sistema de loja. Cada relatório é uma colagem manual — e cada número tem uma versão diferente dependendo de quem colou.

A ingestia.io é uma plataforma self-service de datalake, BI e IA para PMEs brasileiras, rodando na Google Cloud em São Paulo (southamerica-east1). A ideia central é simples: o dado entra uma vez, vira tabelas prontas num lugar só, e tanto os painéis quanto a IA leem dessas mesmas tabelas. É isso que faz o número ser o mesmo em qualquer tela.

A plataforma é organizada em três camadas, percorridas sempre na mesma ordem.

Os três módulos

Módulo	O que faz	Por onde começa no menu
Ingestia Data (dados)	Traz o dado para dentro: conectores e upload de arquivos alimentam a landing zone (Google Cloud Storage); o pipeline medalhão materializa, por fonte, Bronze (cru), Silver (limpo e padronizado) e Gold (datamart pronto para BI) no BigQuery. Inclui profiling com amostra mascarada, detecção de mudança de schema, agendamento, retry/DLQ e guarda de custo (`maximumBytesBilled`).	Dados e Orquestração
ingestia.bi (análise)	Transforma as tabelas Gold em análise: um modelo semântico central (relações, medidas e fórmulas em português) reaproveitado por todos os painéis; editor de canvas com 46 visuais de dados + 4 elementos de layout, filtros, drill, temas e versionamento (painel antigo nunca quebra); distribuição por link secreto, embed, web aberta, assinatura por e-mail e exportação.	BI
Ingestia AI (explicação e automação)	Duas famílias bem diferentes. A determinística (anomalias, previsões, alertas) roda como conta pura no servidor: nunca manda dado para um LLM, custo de token zero, resultado reproduzível. A família com LLM (text-to-SQL, Q&A com citação, insights, narrativa de relatório) passa por controle de egress, orçamento com teto e recusa quando não há base — a IA avisa, não inventa.	IA

A cola: quatro coisas que são uma só

O que faz as três camadas funcionarem como um produto, e não como três ferramentas, são quatro elementos compartilhados:

Um datalake. Cada workspace tem um dataset isolado no BigQuery, com prefixo próprio: <prefixo>_bronze, <prefixo>_silver, <prefixo>_gold. Arquivos ficam na landing (GCS); cadastro e configuração, num Postgres gerenciado. Tudo em São Paulo.
Um modelo. O modelo semântico é a camada central de relações, medidas e fórmulas. Os painéis leem dele; a IA fica aterrada nele — é daí que saem as citações e a proveniência das respostas.
Uma governança. O workspace é a unidade real de isolamento: suas pessoas, seu plano, sua cobrança. Papéis (RBAC) dizem o que cada pessoa pode fazer, MFA é obrigatório em toda conta, RLS/ABAC filtra linhas por atributo do membro e PII sai mascarada em amostras e snapshots públicos.
Um saldo. O consumo de nuvem (BigQuery + IA) é pago em créditos em R$, com franquia mensal do plano e guarda de custo por consulta. Mesmo com o papel certo, uma ação cara (refresh, export, IA, relatório) é bloqueada se a assinatura estiver em atraso — a "regra do dinheiro".

Como as camadas se conectam

Data → BI: os painéis leem das tabelas Gold (ou do modelo semântico aterrado nelas). Nada de BI aponta para o dado cru.
BI → AI: a IA fica aterrada no modelo semântico e nos painéis; a resposta vem com as tabelas, colunas e medidas usadas.
Tudo escopado por workspace: nenhuma camada vaza dado entre clientes.

Como aparece no produto

Depois do onboarding você cai no painel de visão geral (/overview), a página inicial do workspace. É uma tela barata — não dispara consulta paga — com quatro cartões: Fontes conectadas, Dashboards (com quantos estão publicados), Custo de infraestrutura previsto/mês e Plano atual. Abaixo, as listas de fontes recentes (com o agendamento de cada uma) e de painéis (Publicado/Rascunho).

O menu agrupa tudo em seis produtos: Início, Dados, Orquestração, BI, IA e Administração. A aula 5 percorre cada um; por enquanto, basta associar: Dados e Orquestração são o módulo Data, BI é o ingestia.bi, IA é o Ingestia AI, e Início e Administração são a cola (resumo, conta, dinheiro e acesso).

Exemplo: a Comércio Aurora

A Comércio Aurora Ltda (varejo) usa o workspace Aurora Varejo, prefixo aurora. Maria é a dona, João o administrador, Ana a analista.

Data: a fonte vendas_2026.csv entra todo dia às 04h e vira aurora_bronze → aurora_silver → aurora_gold.
BI: Ana monta o painel "Vendas por filial" sobre aurora_gold.vendas_por_filial; os gerentes só visualizam.
AI: Ana pergunta "Qual filial mais vendeu em julho?". A IA gera o SQL sobre a mesma tabela Gold, executa com maximumBytesBilled e responde "Campinas, R$ 128 mil" citando a tabela e o período usados.

Repare: o mesmo Gold alimenta o painel e a resposta da IA. Esse é o ponto.

Erros comuns

Achar que o painel lê a planilha original. Lê o Gold. Se o pipeline não rodou, o painel diz "ainda sem dados" — não é "não houve venda".
Achar que a organização dá acesso. A organização agrupa workspaces para fins administrativos; quem administra a organização não enxerga dados de nenhum workspace. Acesso é sempre por participação no workspace (aula 3).
Confundir "implementado" com "certificado em nuvem". São coisas diferentes, e o selo existe para marcar isso (aula 2).
Esperar que a IA complete o que falta. Quando não há base no modelo, ela recusa. Recusa é um resultado correto.

O que isto NÃO é (estado Preview)

Hoje nenhum recurso é anunciado como "GA disponível"; o teto de maturidade da plataforma inteira é Preview: sem SLA e sem certificação de nuvem. Latência, custo faturado em BRL e uptime não foram medidos em produção — os valores de custo exibidos são projeção. Não use ainda para carga de missão crítica com SLA contratual. Use quando quiser sair de planilhas soltas para um datalake com BI e IA, na sua região, pagando por uso.

Faça você mesmo#

No workspace de treino Aurora Varejo:

Abra Início → Visão geral (/overview) e localize os quatro cartões de resumo: Fontes conectadas, Dashboards, Custo de infraestrutura previsto/mês e Plano atual. Anote o plano que aparece.
Confira, na mesma tela, o nome da empresa e o prefixo do dataset (aurora). Escreva os três nomes de dataset que esse prefixo gera.
No menu lateral, localize os seis produtos: Início, Dados, Orquestração, BI, IA e Administração. Ao lado de cada um, anote a qual módulo ele pertence (Data, BI, AI) ou se é "cola".
Entre em BI → Workspace e em IA → Consultas com IA apenas para reconhecer as portas de entrada. Não crie nada ainda.
Volte a /overview e escreva uma frase para cada módulo começando por "O dado entra por…", "vira análise em…" e "ganha explicação em…".

Você terminou quando consegue dizer, sem olhar, os três módulos, os quatro elementos da cola e o produto do menu por onde cada um começa — e anotou o plano e o prefixo do workspace.

Checagem rápida#

Três perguntas no final da aula, corrigidas no servidor. A aula só conta como concluída depois da checagem.

Documentação relacionada#

Capacidades ensinadas#

(conceitual — sem capacidade específica da matriz) — o selo exibido na aula é sempre o estado mais conservador entre as capacidades citadas; nada aqui é "GA".