VRAM
Vai caber? Pergunte à calculadora.
Pesos + cache KV + overhead do runtime, estimados antes de gastar um dólar. Baseado na heurística da comunidade (≈0,58GB por bilhão de parâmetros em Q4_K_M).
Quantização é a primeira alavanca
Descer de FP16 → Q4_K_M corta a memória para ~29% com perda mínima. Q8 é quase sem perdas a ~52%.
Contexto come VRAM em silêncio
Chats longos e prompts grandes de RAG crescem o cache KV. Dobre o contexto e veja o número subir.
Deixe folga
Mire em ≤85% da sua VRAM. Sistema, navegador e monitores pegam da mesma placa.
Alguns links são de afiliados. Eles nunca mudam nossos rankings ou as contas — ajudam a manter a AIVerseWeb independente.