#compression

TurboQuant: a compressao de IA do Google que agora roda na CPU

O TurboQuant do Google alcanca compressao 6x do cache KV sem perda de precisao, tornando a inferência de IA em CPUs comuns uma realidade em produção.