#quantization

TurboQuant: a compressao de IA do Google que agora roda na CPU

O TurboQuant do Google alcanca compressao 6x do cache KV sem perda de precisao, tornando a inferencia de IA em CPUs comuns uma realidade em producao.