Essas três opções são arquivos no formato GGUF utilizando o método de quantização Q4_K (K-quants de 4 bits). A principal diferença entre elas está na forma como o algoritmo decide quais partes (tensores) da rede neural podem ser comprimidas agressivamente e quais precisam de maior precisão para manter a inteligência do modelo.
Aqui está o detalhamento técnico de cada uma:
1. As Diferenças Técnicas
Q4_K_S (Small – 16.5 GB): É a versão mais comprimida entre as três. Ela usa 4 bits para a grande maioria dos pesos do modelo e mantém apenas alguns tensores essenciais em uma precisão um pouco maior (geralmente 8 bits).
Vantagem: Ocupa menos VRAM/RAM e é ligeiramente mais rápida para carregar e processar tokens.
Desvantagem: Apresenta a maior degradação de qualidade (perplexidade mais alta), o que pode resultar em respostas levemente menos precisas ou criativas do que o modelo original.
Q4_K_M (Medium – 16.9 GB): Esta é a versão “intermediária” e a mais popular. Ela utiliza 4 bits para a maioria dos tensores, mas aloca precisão de 6 bits (Q6_K) em tensores críticos que afetam mais a qualidade do texto gerado (como as camadas de atenção e as redes feed-forward).
Vantagem: Oferece um ganho significativo de qualidade em relação à versão “S” com um aumento mínimo no tamanho do arquivo.
Q4_K_XL (Extra Large – 17.0 GB): É a versão menos comprimida dentro da categoria de 4 bits. Ela preserva ainda mais tensores em resoluções mais altas (geralmente 5 ou 6 bits) em comparação com as versões menores.
Vantagem: Retém a maior inteligência possível para um modelo de 4 bits, aproximando-se da qualidade das quantizações de 5 bits.
Desvantagem: Exige mais VRAM/RAM e largura de banda da memória, o que pode impactar marginalmente a velocidade de inferência dependendo do seu hardware.
2. Qual é a melhor?
A “melhor” depende diretamente de quanto de memória RAM e VRAM (memória da placa de vídeo) você tem disponível.
A recomendação geral:
Vá de Q4_K_M. Na comunidade de LLMs locais, a quantização Q4_K_M é considerada o “sweet spot” (ponto de equilíbrio ideal). Ela oferece uma perda de qualidade quase imperceptível em relação aos pesos originais de 16 bits, ao mesmo tempo em que mantém o arquivo compacto o suficiente para rodar em hardware comum.
Cenários específicos:
Escolha a Q4_K_XL se: Você tem bastante memória disponível (por exemplo, 24 GB de VRAM em uma RTX 3090/4090 ou muita RAM de sistema no caso de Macs) e quer extrair a máxima coerência e capacidade lógica do modelo sem pular para um arquivo de 5 ou 6 bits, que passaria dos 20 GB.
Escolha a Q4_K_S se: O seu hardware está no limite absoluto. Se os 400 MB extras da versão M forem a diferença entre o modelo caber totalmente na sua VRAM ou ter que fazer offload parcial para a RAM comum (o que destrói a velocidade de geração), a versão S é a melhor escolha técnica para manter a performance.
