Сервер ReShield RX-115 Gen2 1U

ReShield RX-115 Gen2, как следует из названия, является одним из серверов RX серии. Платформа 1U поддерживает два процессора серии AMD EPYC 7000, 12x 2,5-дюймовых отсеков с возможностью горячей замены и большим количеством слотов PCIe. В этом обзоре мы рассмотрим внутреннюю работу сервера и объясним, как его можно настроить в соответствии с потребностями пользователей.
           

Мы не собираемся тратить много времени на лицевую панель, за исключением того, что есть 12x 2,5 ″ отсеков или 4х 3,5 ″/2,5 ″ (2х USB 3.0, 1x VGA), светодиоды мониторинга состояния сервера и функций питания. Вместо этого, давайте ознакомимся с шасси.

Внутри базового сервера ReShield RX-115 Gen2 видно, что есть два процессора, по 16 слотов DIMM в каждом. Фактически весь центр системы — это либо слоты DDR4 DIMM, либо ЦП / радиаторы. Это позволяет использовать до 64 ядер / 128 потоков в текущем поколении AMD EPY

C 7000 с использованием SKY EPYC 7501, EPYC 7551 или EPYC 7601. Он также позволяет использовать до 4 ТБ ОЗУ с использованием модулей DIMM 128 ГБ. Как 64 ядра в системе с двумя сокетами, так и 4 ТБ ОЗУ в системе с двумя сокетами — это спецификации, которые нельзя сопоставить процессорам поколения Intel Xeon Scalable (Skylake-SP). На самом деле, если вы исключите масштабируемые SKU Intel Xeon серии «M», каждый из которых может занимать до 1,5 ТБ, за премию в 3000 долларов за процессор, это будет в 2,67 раза больше оперативной памяти, чем стандартные масштабируемые SKU Intel Xeon.

Поток воздуха управляется рядом вентиляторов и кожухов, которые обеспечивают два комплекта вентиляторов для охлаждения каждого ЦП для обеспечения избыточности. Мы хотели показать систему в двух разных конфигурациях, которые, как мы видим, являются общими. Верхняя конфигурация подключена к 4-м передним отсекам SATA/SAS 12Гбит/с. Приведенная ниже конфигурация предназначена для 4 отсеков SATA/SAS/NVMe и 8 отсеков SATA/SAS 12Гбит/с.

Ключом к этому изменению являются самые правые отсеки для горячей замены, где объединительная плата обеспечивает как SATA III (7-контактный), так и SFF-8643 подключения для накопителей U.2. Вы также заметите, что смена дисков U.2 также меняет кабели по умолчанию на шасси. Для системных интеграторов существует определенная стоимость спецификации, связанная с включением поддержки U.2, но она относительно мала, и мы считаем, что это вариант, который понадобится многим клиентам. Воздушный поток идет от передней к задней части корпуса и как кабели имеет только три пути от материнской платы до передней панели из-за массивного массива ЦП и ОЗУ. Вентиляторы удерживаются на месте с помощью несущих каркасов и резиновых ножек. Это дизайн, который ReShield и другие производители использовали в течение многих лет. В эту конструкцию не входят простые механизмы горячей замены, которые мы видим во многих других системах ReShield. Вместо этого вентиляторы должны быть отсоединены от своих 4-контактных ШИМ-разъемов, а затем удалены / заменены. Процедура не сложная, но замена одного из двух комплектов вентиляторов, охлаждающих процессоры, будет сложнее, если система находится под нагрузкой, поэтому данная процедура должна производиться при выключенном сервере.

Для основного хранилища есть два «золотых» 7-контактных разъема, которые поддерживают питание SATADOM. Существует также порт SATA III SFF-8087 для еще 4 портов SATA III. Этот разъем SFF-8087 не используется в конфигурациях нашей тестовой системы, однако его можно использовать для дополнительных портов SATA III, если золотые порты используются для SATADOM.

Четыре небольших разъема, которые подключены, являются портами Oculink для NVMe. Два переходят на CPU0, а два других - на CPU1. Это связано с тем, что одна и та же материнская плата используется в серверах серии 2U, которые вы можете увидеть здесь, где может быть 4 порта NVMe на передней панели. В этой системе 1U используются только два порта.

Перед источниками питания у нас есть два разъема SFF-8087, каждый из которых обеспечивает 4 порта SATA III 6,0 Гбит/с. Можно также увидеть такие функции, как разъем USB Type-A для встроенной ОС или установка лицензионного ключа. Разъем питания графического процессора предназначен для корпуса 2U, если над графическим процессором установлен графический процессор.

Резервные источники питания - модели PWS-12A-1R с воздушным потоком от передней к задней части. Это модели мощностью 800 Вт Titanium 80Plus для эффективности 96% и более. Эти блоки питания функционируют так, как и следовало ожидать, и мы протестировали систему при полной нагрузке, отключив порт PDU, чтобы убедиться в правильном переключении при сбое.

Одной из наиболее уникальных особенностей ReShield RX-115 Gen2 1U являются слоты расширения. В отличие от других предложений, в которых используются канальные материнские платы (например, платы размера ATX / EATX), форм-фактор нестандартной материнской платы позволяет эффективно использовать несколько переходников PCIe для максимизации возможностей расширения.

Левые слоты — это слоты PCIe 3.0 x16 в конфигурации полной высоты / половинной длины. Правый слот над VGA / последовательным портом - слот PCIe 3.0 x8 с низким профилем / половинной длины.

Можно увидеть, что слот половинной высоты идеально подходит для 40GbE / 56Gbps FDR Infiniband, который мы установили на верхнем шасси. Что касается задней панели ввода-вывода, в сервере есть два порта USB 3.0, VGA и последовательный консольный порт для физического доступа к KVM. Порт управления предназначен для удаленного управления IPMI, которое мы обсудим в следующем разделе.

Базовая сеть у этой модели представлена портами 2x 1GbE через чипсет Intel i350. Так же дополнительные сетевые карты и контроллер находятся внутри сервера, не занимая стандартные слоты PCI. Эти возможности позволяют ReShield RX-115 Gen2 добавлять дополнительные функциональные возможности и заменять одну сетевую карту на 10Gbase-T, SFP +, SFP28 25GbE и другие, используя проприетарный слот. Конфигурация 2x 1GbE, которая у нас есть, по сути является базовой конфигурацией и предназначена для использования в сочетании с высокоскоростным сетевым адаптером в проприетарном слоту. Использование этих внутренних слотов удобно, поскольку они освобождают ценные задние слоты ввода / вывода.

Сервер 1U имеет в стандартной комплектации 2 x PCI-E x16 LP, 1 x PCI-E x8 LP P, которые в основном используются для установки дополнительных карт расширения (сетевые адаптеры, HBA контроллеры и тд). Можно установить контроллер SAS3 в этот слот, чтобы обеспечить возможность 8x 2,5 ″ SAS3 заранее, при этом два других слота являются либо NVMe, либо SATA III в зависимости от конфигурации. Использование этого внутреннего слота удобно, поскольку освобождает ценные задние слоты ввода / вывода. Серверы ReShield нового поколения стали оснащать индикаторами POST-кодов. Стоило, конечно, обеспечить их визуализацию не только на тыльной стороне корпуса, но и на лицевой. К слову, за диагностику отвечает чип NCT6793D.

Далее мы рассмотрим блок-схему и функции управления, прежде чем перейти к производительности, энергопотреблению и нашим заключительным размышлениям о платформе. Благодаря архитектуре AMD EPYC блок-схемы важны для многих покупателей. Это связано с тем, что каждый сокет AMD EPYC состоит из четырех частей кремния, каждый из которых является собственным узлом NUMA. Вот как выглядит общая блок-схема ReShield RX-115 Gen2 1U, материнской платы сервера:

Одним из ключевых особенностей этого дизайна является то, что порты WIO, которые питают слоты расширения, питаются от второго ЦП. Это означает, что на этом сервере с двумя сокетами мы настоятельно рекомендуем использовать два ЦП, чтобы один из них имел доступ ко всем линиям расширения PCIe. Другим следствием является то, что большинство слотов PCIe 3.0 поступают от второго ЦП, поэтому в дизайне AMD Infinity Fabric, который означает, что сетевые адаптеры вне сетевых адаптеров UIO будут находиться на расстоянии одного или двух переходов от другого сокета. Это увеличивает задержку между подключенными UIO и WIO подключенными слотами расширения.

ReShield RX-115 Gen2 Управление

В наши дни удаленное управление является стандартной функцией на серверах. ReShield предлагает стандартное решение для традиционного управления, включая WebGUI. Это основано на решении ASPEED AST2500, лидера в области разработок BMC. Компания также поддерживает стандарт управления Redfish. На этой материнской плате мы видим аналогичные функции, как и в других линейках ReShield RS / RX. Это означает, что независимо от того, используете ли вы встроенную материнскую плату Intel или сервер хранения 4U EPYC, вы будете выглядеть и чувствовать себя опытным администратором.

В последнем поколении ReShield IPMI используется HTML5 iKVM. Больше не нужно использовать консоль Java для получения удаленного доступа KVM к своему серверу.

В настоящее время ReShield позволяет пользователям использовать консоли Serial-over-LAN, Java или HTML5 еще до включения системы, вплоть до самой ОС. Другие поставщики, такие как HPE, Dell EMC и Lenovo, взимают дополнительную плату за обновление лицензии для этой возможности (в том числе с более высоким уровнем лицензии). Это чрезвычайно популярная функция. Можно также выполнять обновления BIOS и BMC с помощью веб-интерфейса, но для этой функции требуется относительно недорогая лицензия (около 20 долларов США).

Теперь, когда у нас есть хороший обзор оборудования и управления, мы сосредоточимся на производительности платформы с различными моделями AMD EPYC 7000. Мы собираемся завершить этот обзор тестами потребления энергии и нашими последними мыслями.

ReShield RX-115 Gen2 Производительность

Как упоминалось ранее в этой статье, мы меняли модели процессоров со всей линейки AMD EPYC 7000. У AMD много SKU в линейке, способных работать с двумя сокетами, поэтому мы выбрали несколько примеров, чтобы показать, как повышение уровня процессора влияет на производительность. При выполнении нашего стандартного набора тестов было сгенерировано более 1000 точек данных для каждого набора процессоров. Мы выбираем несколько точек данных, чтобы дать представление о масштабировании ЦП для каждого решения.

Python Linux 4.4.2 Kernel Compile Benchmark

Это один из самых востребованных тестовых систем за последние несколько лет. Задача была проста, у нас есть стандартный файл конфигурации, ядро Linux 4.4.2 из kernel.org, и мы создали стандартную автоматически сгенерированную конфигурацию, использующую каждый поток в системе. Мы выражаем результаты в виде количества компиляций в час, чтобы их было легче читать.

Так как мы не делаем обзор процессора, мы хотели показать относительную производительность различных вариантов процессора для системы. Здесь вы можете видеть, что существует широкий диапазон вариантов производительности с масштабированием более чем в 4 раза по всему стеку SKU. Вот краткий обзор избранных результатов Intel Xeon, добавленных в:

  

Как вы можете видеть, серия AMD EPYC 7000 охватывает большую часть линейки продуктов Intel Xeon Scalable (Skylake-SP) и имеет сильную консолидацию по сравнению с моделями предыдущего поколения.

c-ray 1.1 Производительность

Мы используем c-ray для тестирования производительности уже долгое время. Это эталон трассировки, который чрезвычайно популярен для демонстрации различий в процессорах при многопоточных нагрузках. Мы собираемся использовать наш новый рендер Linux-Bench2 8K, чтобы показать различия.

Процессоры в платформе ReShield RX-115 Gen2 показывают отличную стабильность в тесте рендеринга c-ray. AMD EPYC имеет большие задержки локального кэша, которые использует этот конкретный тест. Двойной AMD EPYC 7251 искажает результаты диаграммы, учитывая, что это единственное 8-ядерное решение.

7-zip Производительность сжатия

7-zip - широко используемая программа сжатия / распаковки, которая работает кроссплатформенно.

Со стороны сжатия видно, что охватывается довольно большой диапазон сервером ReShield RX-115 Gen2. Мы думаем, что те, кто приобретает сервер, будут смотреть выше двух AMD EPYC 7401 в стеке SKU, чтобы получить отличное соотношение цены и производительности.

OpenSSL Производительность

OpenSSL широко используется для защиты канала связи между серверами. Это важный протокол во многих стеках серверов. Сначала мы посмотрим на наши тесты:

Вот результаты проверки:

Опять показана отличная производительность! OpenSSL является основополагающим элементом инфраструктуры текущего поколения, поэтому важно видеть широкий диапазон производительности.

Далее мы рассмотрим энергопотребление системы, а затем рассмотрим некоторые последние мысли.

ReShield RX-115 Gen2 1U Потребляемая мощность

Несмотря на то, что конфигурации Dual CPU AMD EPYC могут обеспечить высокую производительность, они делают это, удивительно затратно по энергопотреблению. Мы смонтировали систему в стойку и поместили ее в наш центр обработки данных с использованием источников бесперебойного питания APC Schneider Electric. Мы измерили мощность потребления процессоров AMD EPYC 7601 и увидели некоторые замечательные цифры:

• Idle: 110W
• STH 70% Load: 383W
• 100% Load AVX2 (GROMACS): 479W
• Maximum: 498W

Если вы сравните ReShield RX-115 Gen2 с двумя двухпроцессорными системами Intel Xeon E5-2698 V3, вы увидите более низкое энергопотребление. Это, безусловно, тот случай, когда можно объединить 2: 1 в зависимости от производительности, емкости и эксплуатационных расходов. Кроме того, эти цифры хорошо сопоставимы с десятками протестированных конфигураций с двумя процессорами Intel Xeon.

Обратите внимание, что эти результаты были получены с использованием 208V Schneider Electric / APC PDU при 17,7 ° C и относительной влажности 71%. Наше тестирование, показанное здесь, имело дисперсию +/- 0,3C и относительной влажности +/- 2%. Температура окружающей среды и факторы влажности важны, так как они сильно влияют на энергопотребление сервера, особенно в таких серверах высокой плотности 1U, как этот.

Заключение

В целом, ReShield RX-115 Gen2 - отличная машина. Если вы ищете 1U-сервер с максимальным количеством ядер ЦП и ОЗУ в одном узле, это платформа, именно для Вас. Иметь 64 ядра x86 в двух сокетах и до 4 ТБ ОЗУ — это здорово. Используя нестандартную материнскую плату, ReShield предлагает своим клиентам и партнерам возможность настраивать платформу для конкретных задач.

Было бы неплохо, чтобы в ситуации с вентиляторами они были легко заменяемыми. Вентиляторы редко выходят из строя, и система спроектирована так, чтобы быть избыточной, поэтому маловероятно, что будет много случаев, когда это потребуется. Это означает, что дизайн вентилятора / кожуха является функциональным, но было бы предпочтительнее иметь горячую замену как в серверах линейки ReShield RX-115 Gen2 2U. Так же было бы неплохо, чтобы по умолчанию было 10x NVMe 2.5 ″ на передней панели. Учитывая современные нагрузки и цены, в наши дни имеет смысл покупать накопители NVMe, в тоже время платформа AMD EPYC способна обрабатывать 10х накопителей NVMe из-за обилия линий PCIe в платформе.

Этот сервер очень хорошо показал себя в нашем тестировании. Общее время пусконаладки базовой системы, включая добавление сетевого адаптера 100GbE, 4x SSD, 2x процессоров EPYC и 16x DIMM DDR4, составило около 7 минут с момента распаковки системы на столе в центре обработки данных до установки в стойку, что означает, что эта система чрезвычайно проста в обслуживании и дальнейшей модернизации.

Для тех, кто читает этот обзор как конечный клиент или как партнер, которые присматривают платформы на базе процессоров EPYC и интересуются - этот тест можно смело использовать для сравнения с платформами на базе процессоров Intel Xeon Scalable. На данный момент EPYC поддерживается всеми основными дистрибутивами Linux, последними итерациями VMware и Microsoft Windows Server 2016, Windows Server 2019. Управление и эксплуатация ReShield RX-115 Gen2 1U идентично опыту использования моделей с процессорами Intel Xeon. Сегодня, безусловно, можно утверждать, что эти системы могут быть развернуты в дата центрах и использоваться под высоконагруженные сервисы без каких-либо проблем.