1 post found
TurboQuant вiд Google досягає 6-кратного стиснення KV-кешу без втрати точностi, роблячи iнференс ШI на звичайних CPU реальнiстю для продакшену.