#compression

TurboQuant: стиснення ШІ від Google, яке тепер працює на CPU

TurboQuant від Google досягає 6-кратного стиснення KV-кешу без втрати точності, роблячи інференс ШІ на звичайних CPU реальністю для продакшену.