#llm

2 posts found

DeepSeek V4: model MoE 1,6T z kontekstem 1M na serwerze EU
aideepseekllm

DeepSeek V4: model MoE 1,6T z kontekstem 1M na serwerze EU

DeepSeek V4 przedstawia modele MoE Pro (1,6T) i Flash (284B) z kontekstem 1M tokenow, hybrydowa uwaga i trzema trybami rozumowania dla samohostingu w UE.

TurboQuant: kompresja AI od Google, ktora teraz dziala na CPU
aicompressionquantizationllmgooglecloud

TurboQuant: kompresja AI od Google, ktora teraz dziala na CPU

TurboQuant od Google osiaga 6-krotna kompresje pamieci podrecznej KV bez utraty dokladnosci, czyniace inferowanie AI na zwyklych CPU rzeczywistoscia produkcyjna.