Glossário

Fale a língua da IA local

Cada termo que importa, em linguagem simples. Guarde nos favoritos — os model cards fazem muito mais sentido depois disso.

Fundamentos

LLM: Large Language Model — rede neural treinada em volumes massivos de texto para prever o próximo token, o que acaba gerando habilidade linguística de propósito geral.
Token: O pedaço de texto (≈4 caracteres ou ¾ de uma palavra) que os modelos leem e escrevem. Tudo é medido e cobrado em tokens.
Context window: Quantos tokens o modelo considera de uma vez — a memória de trabalho. Janelas maiores custam mais VRAM.
Inference: Rodar um modelo treinado para obter respostas. Inferência local acontece no seu hardware, sem servidor no meio.
Tokens per second (tok/s): Velocidade de geração. Leitura humana é ~7 tok/s; chat confortável é 15+; 40+ parece instantâneo.
Multimodal: Modelos que tratam mais que texto: imagens (visão), áudio, ou ambos numa conversa.

Open weights: Parâmetros de modelos que você pode baixar e rodar. Difere de open-source: código e dados de treinamento podem não estar inclusos.
Permissive license: Licenças (MIT, Apache-2.0) que permitem uso comercial com poucas amarras — a escolha segura para construir produtos sobre modelos locais.
Self-hosting: Rodar serviços em hardware sob seu controle. A filosofia por trás de cada recomendação deste site.

Quantization: Comprimir pesos de floats 16-bit para inteiros de 4–8 bits para caber em menos VRAM, trocando um pouco de qualidade por muita memória.
GGUF: O formato de arquivo do llama.cpp e afins: um arquivo com pesos + metadados + tokenizador, pronto para quantizar.
Q4_K_M: A quantização 4-bit padrão da comunidade — o ponto de qualidade/tamanho que a maioria das estimativas de VRAM assume.
KV cache: Memória que guarda os estados de atenção do contexto para a geração continuar rápida. Cresce com o contexto — chats longos comem VRAM.

MoE (Mixture of Experts): Arquitetura onde poucos sub-redes 'especialistas' ativam por token — conhecimento de modelo grande na velocidade de um pequeno, se houver memória.

Distillation: Treinar um modelo menor a imitar as saídas de um maior — assim 32Bs herdaram raciocínio de gigantes de fronteira.
Fine-tuning: Treinar mais um modelo com seus dados para mudar comportamento ou conhecimento. LoRA torna isso viável numa única GPU.
LoRA / QLoRA: Low-Rank Adaptation: treinar mini-matrizes adaptadoras em vez de todos os pesos. QLoRA comprime a base em 4-bit — fine-tunes que cabem em 12–24GB.

Embedding: Um vetor de números representando significado. Textos parecidos geram vetores parecidos — a base de busca e RAG.
RAG: Retrieval-Augmented Generation: buscar trechos relevantes dos seus documentos e deixar o modelo responder com eles. Mata alucinações sobre seus dados privados.
Vector database: Armazenamento otimizado para buscar embeddings por similaridade — o arquivo de todo pipeline RAG.

VRAM: Memória da GPU. O número que decide quais modelos você roda. Compre VRAM primeiro, marketing depois.
Unified memory: Design do Apple silicon em que CPU e GPU dividem um único pool de memória — um Mac de 64GB carrega um 70B que nenhum PC de consumo carregaria.
GPU offload: Dividir as camadas do modelo entre GPU (rápida) e CPU/RAM (lenta). Mais VRAM = mais camadas na GPU = mais velocidade.

Prompt: As instruções e o contexto que você dá ao modelo. A habilidade de maior impacto em IA — e totalmente gratuita de melhorar.
System prompt: Instruções fixas que moldam toda resposta — a 'descrição de cargo' do modelo na sua sessão.
Temperature: Dial de aleatoriedade: 0 = determinístico e literal, 1+ = criativo e solto. Baixo para código e fatos, alto para brainstorm.
Hallucination: Absurdo dito com confiança. Reduz-se com grounding (RAG), escopos menores e pedido de fontes — nunca eliminado por completo.

Diffusion: Geração de imagem por remoção iterativa de ruído — assim SDXL e FLUX transformam ruído em imagens guiadas pelo seu prompt.
Sampler & steps: A receita de denoise dos modelos de imagem. FLUX schnell precisa de 4 passos; SDXL tipicamente 25–35. Mais passos ≠ melhor, só mais lento.

Agent: Um modelo em loop com ferramentas: planeja, chama funções, observa resultados e continua — agentes locais mantêm seus dados internos.
Function calling: Saídas estruturadas que disparam código real — a ponte entre chat e automação. Muitos modelos locais já suportam nativamente.

Speculative decoding: Um modelo pequeno rascunha tokens e o grande verifica em paralelo — mesma qualidade, 2–3× de velocidade em bons pares.
Prompt caching: Reutilizar atenção computada de contextos repetidos — respostas instantâneas em documentos longos, local e na nuvem.