Cloud-Server fur Ollama in Europa: Self-Host-KI-EU-Leitfaden
Ollama ist der schnellste Weg, ein lokales LLM zum Laufen zu bringen - ein einziger Befehl installiert die Runtime, ladt ein Modell herunter und stellt eine OpenAI-kompatible API bereit. Fur europaische Teams bedeutet das Ausfuhren von Ollama auf einem EU-Cloud-Server, dass alle KI-Inferenz unter EU-Gerichtsbarkeit bleibt und DSGVO-Anforderungen erfullt werden.
Warum Ollama auf einem EU-Cloud-Server ausfuhren
EU-Hosting ist wichtig, weil Ollama als Inferenz-Endpunkt fur Ihre Anwendungen dient. Jeder Prompt, den Ihre Nutzer senden, lauft durch diesen Server. Gemas DSGVO muss diese Inferenz auf Infrastruktur unter EU-Gerichtsbarkeit stattfinden. Ein DCXV EU-Cloud-Server mit Ollama gibt Ihnen einen konformen, privaten KI-Endpunkt.
Das richtige Modell wahlen
- llama3.1:8b - bestes Allroundmodell fur Chat, Zusammenfassung, Q&A. 4-5 GB VRAM bei Q4.
- llama3.1:70b - nahe GPT-4-Qualitat. Benotigt 40+ GB VRAM.
- mistral:7b - schnell, effizient, hervorragend fur strukturierte Ausgaben.
- nomic-embed-text - Embedding-Modell fur RAG-Pipelines. 274 MB.
- codellama:13b - Code-Generierung und -Uberprufung.
- phi3:mini - sehr schnell auf CPU, nutzlich fur Klassifizierung.
Mindestanforderungen fur Ollama
- Nur CPU (kleine Modelle, 7B Q4) - 8 vCPU, 16 GB RAM, 100 GB NVMe SSD
- CPU Produktion (parallele Anfragen) - 16 vCPU, 32 GB RAM, 200 GB NVMe SSD
- GPU Einstieg (7B-13B bei FP16) - 4 vCPU, 16 GB RAM, 16-24 GB VRAM
- GPU Produktion (34B+ Modelle) - 8 vCPU, 64 GB RAM, 40-80 GB VRAM
Empfohlene DCXV-Konfiguration
DCXV Cloud-Server laufen auf Tier-III-EU-Infrastruktur:
- CPU-Server, 16 vCPU / 32 GB RAM - bedient 7B-Modelle mit 18-28 Token/s
- GPU-Server, 16-24 GB VRAM - bedient 7B-13B-Modelle mit 80-120 Token/s
- GPU-Server, 80 GB VRAM - bedient 70B-Modelle mit 25-40 Token/s
Kontaktieren Sie sales@dcxv.com fur GPU- oder CPU-Instanzen.
Schnell-Setup-Befehle
# Ollama auf Ubuntu 22.04 installieren
curl -fsSL https://ollama.com/install.sh | sh
# Modelle herunterladen
ollama pull llama3.1:8b
ollama pull mistral:7b
ollama pull nomic-embed-text
ollama list
# Ollama fur privates Netzwerk konfigurieren
# /etc/systemd/system/ollama.service:
# Environment="OLLAMA_HOST=0.0.0.0:11434"
# Environment="OLLAMA_NUM_PARALLEL=4"
sudo systemctl daemon-reload && sudo systemctl restart ollama
curl http://10.0.0.5:11434/api/tags
# OpenAI-kompatible API verwenden
curl http://10.0.0.5:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama3.1:8b",
"messages": [{"role": "user", "content": "Was ist DSGVO?"}]
}'
Erwartete Leistungswerte
CPU (16 vCPU), llama3.1:8b Q4_K_M:
- Einzelanfrage-Generierung - 18-28 Token/s
- Embedding-Durchsatz - 250-400 Vektoren/s
GPU (16 GB VRAM), llama3.1:8b FP16:
- Einzelanfrage-Generierung - 80-120 Token/s
- Zeit bis zum ersten Token - 100-250 ms
Fazit
Ollama auf einem DCXV EU-Cloud-Server gibt Ihrem Team einen privaten, DSGVO-konformen KI-Endpunkt. Die Installation dauert unter funf Minuten.
