AWS Graviton2 и Elasticsearch — первое впечатление

Возможно, вы заметили, что есть много шума о ARM VS X86. Я бы сказал главным образом из-за новых MacBook с Apple Clibon. Но если вы являетесь пользователем AWS, вы, возможно, заметили, что Amazon некоторое время Amazon на базе EC2 на какое-то время.

Мотивация

На данный момент существует 2-го поколения AWS Graviton Processors и доступны экземпляры EC2 T4G, M6G, C6G и R6G и их варианты с локальным хранением SSD на основе NVME, которые обеспечивают до 40% лучшей ценовой производительности над сопоставимым током поколения X86- Основанные экземпляры [1]. Из моих SRE/DEVOPS инженера перспективы потенциал 40% снижение AWS EC2 Билла кажется очень интересным.

В нашей компании Big Portion нашего EC2 используется для запуска Elasticsearch. В течение 2020 года мы смогли переместить большинство нашего сервера на elasticsearch 7, поэтому тот факт, что поскольку elasticsearch 7.8.0 ARM и архитектура Aarch64 официально поддерживается [2], была для нас довольно интересными новостями. Мне кажется лучшим вариантом, чтобы начать тестирование экземпляров руки в нашей инфраструктуре на Elasticsearch, потому что:

1. Поддерживается (нам не нужно строить версию ARM на себя)
2. У нас есть много серверов Elasticsearch (одно развертывание может охватывать большую часть инфраструктуры)
3. Elasticsearch распределен (вы можете начать с 1 сервера в кластере и медленно продолжить в преобразовании)
4. Elasticsearch выполняет множество параллельных задач, поэтому он может воспользоваться реальными физическими ядрами вместо логических ядер (одновременная многопоточность в чипсах Intel и AMD X86)

Настраивать

Я обнаружил, что есть хороший ориентирный инструмент для установки Elasticsearch Setup Esrally [3] С несколькими ориентирами для разных случаев использования [4] . Установите и запустите ориентир в настройках по умолчанию на Ubuntu 20.04 довольно легко.

Установить

sudo apt-get install build-essential python3-dev openjdk-11-jdk python3-pip
python3 -m pip install esrally --user

Бегать

AMD64.

export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"
./.local/bin/esrally configure
./.local/bin/esrally --distribution-version=7.8.0

ARM64.

export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-arm64"
./.local/bin/esrally configure
./.local/bin/esrally --distribution-version=7.8.0

Экземпляры EC2

К моим тестам я решил использовать трек по умолчанию (ориентир) GeOnames С настройками по умолчанию. Инстанции семейств EC2 были T3 (Intel на основе X86), T3A (AMD на основе X86) и T4G (на основе ARM) Все они в среднем размере (2 ядра VCPU и 4 ГБ ОЗУ) с неограниченными кредитами ЦП. Выбранные EBS для всех экземпляров составляли 30 ГБ объемом GP3 с 3000 IOPS (COUNT IOPS по умолчанию для GP3). Расход памяти процесса Java был ~ 1,5 ГБ, поэтому 4 ГБ в порядке для рекомендуемого соотношения 50:50 между кучей и кэшем файлов [5] .

* По требованию Европа (Ирландия) [6]

Результаты

Средняя пропускная способность (выше лучше)

Количество операций, которые Elasticsearch могут выполняться в течение определенного периода времени, обычно в секунду. [7]

90-е процентильное задержка (ниже лучше)

Период времени между представлением запроса и получение полного ответа. Он также включает в себя время ожидания, то есть время запроса протягивает ожидание до тех пор, пока он не будет готов к обслуживанию elasticsearch. [7]

90-е место процентиля (ниже лучше)

Период времени между началом запроса Обработка и получение полного ответа. Эта метрика может быть легко перепутана с Задержка Но не включает время ожидания. Это то, что большинство инструментов тестирования нагрузки относятся к «задержке» (хотя это неверно). [7]

Заключение

Соотношение средней пропускной способности (выше лучше)

T3.Medium. Как 1,00, линии, где пропускная способность была одинаковой для всех 3 экземпляров, были удалены.

Давайте поговорим о задачах, где существует некоторая разница между экземплярами. Задачи с одинаковыми значениями, вероятно, ограничены CPU.

Мы можем видеть 87% производительности, когда мы сравним T3A.Medium с T3.Medium Отказ Это, вероятно, ожидается, что поскольку рацион между 2,5 ГГц для AMD и 3,1 ГГц для Intel составляет ~ 81%. Обе значения предназначены для тактовой скорости Turbo CPU, поэтому реальная тактовая частота может быть немного отличной и может быть небольшая разница в IPC. Цена T3A.Medium 90% T3.Medium. Таким образом, производительность на цену незначительно в пользу экземпляров на основе Intel.

Теперь интересная часть T4G.Medium против T3.Medium Отказ На 30% больше возможностей для рук достаточно удивительны для меня, и когда мы объединяем это с более низкой ценой на 20%, производительность на цену удивительна. Трудно сказать, сколько может эластично использовать пользу от SMT на Intel и AMD-процессоры против настоящих ядер на AWS Graviton2, но это может быть объяснение, почему экземпляр Graviton2 имеет 30% более высокой оценки, чем Intel, а на 50% больше, чем AMD. Я с нетерпением жду возможности делать больше тестов и, возможно, попробуйте добавить несколько Graviton2 в наш нынешний эластичный поиск кластер для проверки некоторых сценариев реального мира.

Источники

[1] https://aws.amazon.com/ec2/graviton/

[2] https://www.elastic.co/blog/elasticsearch-on-arm.

[3] https://github.com/elastica/rually

[4] https://github.com/elastic/rally-tracks

[5] https://www.elastic.co/guide/en/elasticsearch/reference/current/important-settings.html#heap-size-settings

[6] https://aws.amazon.com/ec2/pricing/on-demand/

[7] https://esraly.readtheDoc.io/en/stable/summary_report.html.

Оригинал: «https://dev.to/brabemi/aws-graviton2-and-elasticsearch-the-first-impression-5c46»