Serwer cloud dla Elasticsearch w Europie: hosting wyszukiwania EU
Elasticsearch jest podstawa wyszukiwania pelnotekstowego, analizy logow i stosow obserwowalnosci w nowoczesnych aplikacjach. Dla firm przetwarzajacych dane europejskich uzytkownikow, miejsce przechowywania indeksu wyszukiwania ma bezposrednie konsekwencje dla zgodnosci z RODO i czasow odpowiedzi na zapytania.
Dlaczego rezydencja danych w UE ma znaczenie dla Elasticsearch
Indeksy Elasticsearch czesto zawieraja tresci generowane przez uzytkownikow, logi behawioralne i dane dokumentow powiazane z indywidualnymi tozsamosciami - wszystko to sa dane osobowe pod RODO. Hosting na serwerze UE prowadzonym przez europejska firme oznacza, ze Twoj indeks wyszukiwania nigdy nie opuszcza jurysdykcji UE.
Bliskosc sieciowa jest rowniez wazna dla wyszukiwania. Klaster Elasticsearch w Europie Srodkowej odpowiada na zapytania aplikacji berlinskiej w 2-5 ms. Ten sam klaster w centrum danych w USA dodaje 80-120 ms na zapytanie.
Minimalne specyfikacje dla Elasticsearch
- Maly (dev/logowanie, do 50 GB indeksu) - 4 vCPU, 16 GB RAM, 200 GB NVMe SSD
- Sredni (produkcyjne wyszukiwanie, 50-500 GB) - 8 vCPU, 32 GB RAM, 1 TB NVMe SSD
- Duzy (analityka, indeks multi-TB) - 16+ vCPU, 64 GB RAM, 2+ TB NVMe SSD
Rekomendowana konfiguracja DCXV
Serwery cloud DCXV zapewniaja przechowywanie NVMe ze stałym IOPS:
- 8 vCPU, 32 GB RAM, 1 TB NVMe - wezel produkcyjnego klastra wyszukiwania
- 16 vCPU, 64 GB RAM, 2 TB NVMe - analityka logow lub stos obserwowalnosci
Skontaktuj sie z sales@dcxv.com w celu konfiguracji klastra.
Komendy szybkiej konfiguracji
# Instalacja Elasticsearch 8.x na Ubuntu 22.04
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --dearmor -o /usr/share/keyrings/elasticsearch-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/elasticsearch-keyring.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
sudo apt update && sudo apt install -y elasticsearch
sudo systemctl start elasticsearch && sudo systemctl enable elasticsearch
# Rozmiar sterty JVM - 50% RAM
-Xms16g
-Xmx16g
# Wylaczenie swapa
sudo swapoff -a
echo 'vm.swappiness=1' | sudo tee -a /etc/sysctl.conf
echo 'vm.max_map_count=262144' | sudo tee -a /etc/sysctl.conf
sudo sysctl -p
Oczekiwana wydajnosc
Na wezle DCXV 8 vCPU / 32 GB RAM / NVMe z Elasticsearch 8.x:
- Przepustowosc indeksowania (API bulk) - 15 000-30 000 docs/s
- Zapytania na sekunde - 500-1 500 QPS
- Opoznienie P99 (cieple zapytanie) - ponizej 10 ms
Podsumowanie
Elasticsearch na serwerze cloud UE utrzymuje Twoj indeks wyszukiwania pod jurysdykcja UE, zapewniajac wyszukiwanie z malym opoznieniem i duzym throughputem.
