Serwer cloud dla inferencji AI w Europie: przewodnik GPU i CPU
Inferencja AI - uruchamianie wytrenowanego modelu w celu generowania przewidywan lub uzupelnien - jest jednym z najszybciej rosnących obciazen serwerowych w 2026 roku. Dla firm dzialajacych w Europie, wybór infrastruktury wykracza poza specyfikacje sprzetowe: RODO wymaga, aby zadania inferencji zawierajace dane osobowe były przetwarzane na infrastrukturze pod jurysdykcja UE.
Dlaczego rezydencja danych w UE ma znaczenie dla inferencji AI
Każdy prompt wysłany do modelu AI jest potencjalnie danymi osobowymi pod RODO. Uruchamianie inferencji na serwerze cloud DCXV w UE utrzymuje wszystkie prompty i uzupelnienia w granicach UE.
Inferencja hostowana w UE eliminuje również transatlantyckiego opoznienie. Model serwowany z Pragi lub Frankfurtu odpowiada o 80-120 ms szybciej na zadanie niz ten sam model z endpointu w USA.
GPU vs CPU dla inferencji
- Inferencja CPU sprawdza sie dla małych modeli (poniżej 7B parametrów w INT8/INT4) i niskiej przepustowości.
- Inferencja GPU jest konieczna dla duzych modeli (13B+ parametrów) i interaktywnych aplikacji w czasie rzeczywistym.
Minimalne specyfikacje dla inferencji AI
Tylko CPU:
- Mały (modele embeddingowe) - 8 vCPU, 16 GB RAM, 100 GB NVMe SSD
- Średni (model 7B) - 16 vCPU, 32 GB RAM, 200 GB NVMe SSD
- Duży (model 13B przy INT4) - 32 vCPU, 64 GB RAM, 500 GB NVMe SSD
Inferencja GPU:
- Wejsciowy (7B-13B, 24 GB VRAM) - 8 vCPU, 32 GB RAM, 500 GB NVMe
- Produkcyjny (34B-70B, 80 GB VRAM) - 16 vCPU, 128 GB RAM, 1 TB NVMe
Rekomendowana konfiguracja DCXV
Serwery cloud DCXV obsluguja konfiguracje CPU i GPU:
- 16 vCPU, 64 GB RAM, 500 GB NVMe - inferencja CPU dla skwantyzowanych modeli
- Serwer GPU z 24 GB VRAM - inferencja w czasie rzeczywistym dla API chatbotów
- Serwer GPU z 80 GB VRAM - produkcyjna inferencja dla modeli 34B-70B
Skontaktuj sie z sales@dcxv.com w sprawie dostępności GPU.
Komendy szybkiej konfiguracji
# Instalacja Ollama do serwowania modeli CPU/GPU
curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl start ollama && sudo systemctl enable ollama
ollama pull llama3.1:8b
ollama run llama3.1:8b "Wyjasij rezydencje danych RODO"
# Udostepnienie Ollama jako API w sieci prywatnej
# Dodaj do /etc/systemd/system/ollama.service:
# Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl daemon-reload && sudo systemctl restart ollama
curl http://10.0.0.5:11434/api/generate \
-d '{"model": "llama3.1:8b", "prompt": "Co to jest RODO?", "stream": false}'
Oczekiwana wydajność
Inferencja CPU (16 vCPU, llama.cpp, INT4):
- Llama 3.1 8B przy Q4_K_M - 18-28 tokenów/s
- Opoznienie do pierwszego tokena - 800 ms-2 s
Inferencja GPU (RTX 4090 24 GB, vLLM):
- Llama 3.1 8B - 80-120 tokenów/s na zadanie
- Opoznienie do pierwszego tokena - 150-400 ms
To oczekiwania dla sprzętu tej klasy, a nie pomiary z naszego laboratorium. Traktuj je jako punkt wyjścia do doboru rozmiaru i zmierz własne obciążenie: realne liczby zależą od twoich danych, zapytań i tuningu znacznie bardziej niż od dostawcy.
Podsumowanie
Inferencja AI w Europie jest wymogiem RODO dla kazdej aplikacji przetwarzajacej dane osobowe przez LLM. Inferencja CPU obsluguje wewnetrzne narzedzia; inferencja GPU jest wlasciwym wyborem dla interaktywnych aplikacji.
