1 post found
TurboQuant від Google досягає 6-кратного стиснення KV-кешу без втрати точності, роблячи інференс ШІ на звичайних CPU реальністю для продакшену.