Guia de LLMs locais para 16GB de RAM¶
Este post reúne uma lista de modelos de linguagem (LLMs) que se encaixam em um limite de 16 GB de RAM, permitindo uso diário sem sacrificar o espaço de contexto necessário para prompts extensos. Os modelos são distribuídos em categorias de uso diário, raciocínio, trabalho especializado e micro‑modelos, cada um com indicações de quantização GGUF e pontos fortes específicos.
Modelos para uso diário¶
- Qwen3.5 9B / GGUF / Q4_K_M – daily driver, indicado para conversação geral, redação, pesquisa e tradução. Se você puder manter apenas um modelo, este é a escolha recomendada.
Observacao
A quantização Q4_K_M oferece um bom equilíbrio entre tamanho e qualidade para a maioria dos modelos listados.
Modelos de raciocínio¶
- DeepSeek-R1 Distill Qwen 7B / GGUF / Q4_K_M – mecanismo de raciocínio, voltado para matemática, lógica e problemas passo a passo. É mais lento, mas vale a pena quando se requer pensamento aprofundado.
Modelos para trabalhos especializados¶
- Qwen2.5 Coder 7B / GGUF / Q4_K_M – especialista em código, útil para completions, refatoração, depuração e perguntas e respostas sobre repositórios.
- Llama 3.1 8B / GGUF / Q4_K_M – trabalhador de longo contexto, adequado para RAG, bate‑papol com documentos e Q&A sobre bases de código; o contexto é forte considerando o tamanho do modelo.
- Phi-4 Mini Reasoning / GGUF / Q4_K_M – pensador compacto, focado em lógica, respostas estruturadas, matemática e breves explosões de codificação; possui contexto menor como trade‑off.
- Gemma 4 E4B / GGUF / Q4_K_M – modelo leve e geral, bom para escrita, chat, agentes leves e saída estruturada.
- Phi-3.5 Mini / GGUF / Q5_K_M – sidekick de bolso, útil para resumos, extração e bate‑papol com documentos de fundo; combina bem com modelos maiores.
- Qwen3.5 2B / GGUF / Q4_K_M – indicado para resumos, marcação, reescrita e trabalhos leves de apoio.
Micro modelos¶
- Qwen3.5 0.8B / GGUF / Q5_K_M – adequado para classificação, roteamento de palavras‑chave, decisões binárias e triagem.
- Gemma 4 E2B‑it / GGUF / Q4_K_M – chat leve, perguntas e respostas rápidas, resumos e agentes tiny.
Dica
Para fluxos de trabalho de código, combine o modelo geral Qwen3.5 9B com o especialista **Qwen2.5 Coder 7B
Nota pessoal
https://x.com/i/status/2046562542202536367