Servidor cloud para hosting LLM en Europa: guía de IA RGPD
El autoalojamiento de un gran modelo de lenguaje te da control total sobre que datos entran al modelo, donde se procesan y quien puede acceder a ellos. Para las empresas europeas, esto no es solo un argumento de costes - es un requisito de cumplimiento. Cualquier prompt que contenga datos personales de residentes de la UE debe procesarse bajo jurisdicción de la UE según el RGPD.
Por que la jurisdicción de la UE importa para el hosting LLM
Cuando los usuarios interactuan con un LLM - haciendo preguntas, resumiendo documentos - esos prompts a menudo contienen nombres, direcciones de correo electrónico y otros datos personales. Enviarlos a una API alojada en EE.UU. significa que los datos personales abandonan la jurisdicción de la UE en cada solicitud.
El autoalojamiento en un servidor cloud DCXV de la UE significa que toda la inferencia permanece dentro de las fronteras de la UE. Para aplicaciones de salud, legales y financieras en Europa, la infraestructura LLM autoalojada en la UE es el camino práctico hacia el cumplimiento del RGPD.
Elegir tamaño de modelo y cuantización
- Modelos 7B (Q4, ~4 GB VRAM) - resumen, clasificación, Q&A sobre documentos
- Modelos 13B (Q4, ~8 GB VRAM) - mejor razonamiento, mejor seguimiento de instrucciones
- Modelos 34B (Q4, ~20 GB VRAM) - calidad cercana a GPT-3.5
- Modelos 70B (Q4, ~40 GB VRAM) - clase GPT-4 para muchas tareas
Especificaciones minimas para hosting LLM
- Servicio CPU (7B Q4) - 16 vCPU, 32 GB RAM, 200 GB NVMe SSD
- GPU entrada (7B-13B, RTX 4090) - 8 vCPU, 32 GB RAM, 24 GB VRAM, 500 GB NVMe
- GPU medio (34B Q4, A100 40 GB) - 16 vCPU, 64 GB RAM, 40 GB VRAM, 1 TB NVMe
- GPU alto (70B Q4, A100 80 GB) - 16 vCPU, 128 GB RAM, 80 GB VRAM, 2 TB NVMe
Configuración recomendada de DCXV
Los servidores cloud de DCXV proporcionan servidores EU con GPU para hosting LLM:
- Servidor GPU, 24 GB VRAM - modelos 7B-13B para copilotos SaaS
- Servidor GPU, 80 GB VRAM - modelos 70B para APIs de producción
- Servidor CPU, 32-64 GB RAM - modelos 7B via llama.cpp para procesamiento en segundo plano
Contacta sales@dcxv.com para disponibilidad de GPU.
Comandos de configuración rápida
# Opción 1: Ollama (más simple)
curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl enable --now ollama
ollama pull llama3.1:8b
# Exponer en red privada:
# Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl daemon-reload && sudo systemctl restart ollama
# Opción 2: vLLM para GPU de alto rendimiento
pip install vllm
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Llama-3.1-8B-Instruct \
--host 10.0.0.5 --port 8000 \
--gpu-memory-utilization 0.90
Qué runtime de servicio elegir
Los comandos de arriba muestran dos formas de servir los mismos pesos, y la elección no va de calidad - todos ejecutan el mismo modelo. Va de lo que ocurre cuando llega la segunda peticion antes de que termine la primera:
| Runtime | Peticiones concurrentes | Dónde funciona mejor | Elíjalo cuando |
|---|---|---|---|
| Ollama | En cola, una a una | CPU o una sola GPU | Herramientas internas, un usuario, el montaje más rápido |
| llama.cpp | En cola, con un lote pequeño | CPU, pesos GGUF | No hay GPU, o trabajo por lotes nocturno |
| vLLM | Lotes continuos | Solo GPU | Muchos usuarios comparten una GPU y le importa el rendimiento |
| TGI | Lotes continuos | Solo GPU | Ya trabaja con la pila de Hugging Face |
La diferencia es mayor de lo que parece. Una GPU que sirve una peticion a la vez pasa la mayor parte del tiempo esperando memoria, así que un runtime con lotes puede servir a varias veces más usuarios en la misma tarjeta sin cambiar nada del modelo. Por eso las cifras de CPU y las de GPU de abajo no son la misma medición escalada, sino trabajo de forma distinta.
Rendimiento esperado
vLLM en RTX 4090, Llama 3.1 8B FP16:
- Generación (solicitud única) - 80-120 tokens/s
- Rendimiento por lotes (8 concurrentes) - 400-700 tokens/s
- Tiempo al primer token - 150-300 ms
Son expectativas para hardware de esta clase, no mediciones de nuestro propio laboratorio. Tómalas como punto de partida para dimensionar y mide tu propia carga: los números reales dependen de tus datos, tus consultas y tu ajuste mucho más que del proveedor.
Conclusión
El autoalojamiento de LLMs en infraestructura EU es el camino más fiable hacia la IA conforme al RGPD en producción.
