Многопроцессорные сервера: путеводитель в мир 4-х сокетов и более

Содержание: Введение Зачем нужно столько процессоров Плюсы мультипроцессорной архитектуры Минусы мультипроцессорной архитектуры Яркие представители 4-х процессорных серверных платформ LGA 1567 G34 (LGA 1974) LGA 2011 LGA 2011-1 LGA 2011-3 LGA 3647 LGA 4189-5 LGA 4677 8-ми сокетные решения - для чего они нужны Вывод Введение Архитектура серверов с многопроцессорной компоновкой появилась достаточно давно. Первыми машинами, которые в некоторой степени можно отнести к мультипроцессорным серверам это мейнфреймы 70-х годов, которые комплектовались несколькими процессорами. Многопроцессорный сервер в современном понимании появился в конце 80-х годов прошлого века на базе чипов Intel 80386 и 80486. Затем начался экспоненциальный рост производительности и наращивание вычислительных мощностей. Это привело к появлению серверных матплат предлагающих до 8 сокетов (начало 2000-х). Дальнейшее развитие многоядерных чипов и многопроцессорных архитектур привело к тому, что сейчас имеются конфигурации тысячами ядер\вычислительных потоков, но максимум сокетов на одной материнской плате остался равен 8 (хотя существуют кастомные конфигурации с большим количеством сокетов). Это обусловлено усложнением интерконнекта нескольких CPU, а также сложностями с обеспечением питания и отвода тепла в конфигурациях с большим количеством сокетов. В сегодняшней статье мы поговорим о необычных серверных платформах имеющих 4 и более сокетов. Мы верим, что эта тема интересна для наших читателей, поэтому постараемся ее осветить максимально подробно. Зачем нужно столько процессоров Появление мультипроцессорных серверов стало ответом на все возрастающие требования к вычислительной мощности. Наращивание производительности за счет усложнения процессорного ядра и прироста тактовой частоты достаточно быстро «уперлось в потолок», хотя конечно процессорные архитектуры продолжают развиваться и в этих направлениях. Но самым простым способом получить кратный прирост производительности стало использование многопроцессорности, что и было впервые реализовано именно в серверах. Изначально использовались конфигурации с несколькими одноядерными процессорами, но затем появились чипы с несколькими ядрами в одном кристалле, что позволило начать «новую эру» в сфере многопоточности и радикально увеличить количество доступных в мультипроцессорных серверах ядер и потоков. Сервера с несколькими сокетами востребованы практически повсеместно, они используются в расчетах банковских операций, научных вычислениях, обработке «больших данных». Также они позволяют запускать множество виртуальных машин на одном физическом сервере, что является основой любого облачного сервиса. Сервер HP DL560G9 имеет четыре сокета LGA 2011-3, что позволяет разместить до 88 вычислительных ядер на архитектуре Broadwell-EP Плюсы мультипроцессорной архитектуры Многопроцессорная архитектура обладает рядом существенных преимуществ. Основной плюс – значительное увеличение производительности. Такая архитектура позволяет распределять вычисления сразу на множество потоков, что дает возможность радикально увеличить количество операций, выполняемых за единицу времени. К другим плюсам мультипроцессорных архитектур можно отнести: Масштабируемость. Многопроцессорная материнская плата предлагает возможность построения очень гибких конфигураций, которые легко масштабируются по мере увеличения нагрузок и требований к максимальной производительности.   Надежность. Многопроцессорные конфигурации продолжают функционировать даже в ситуации, когда один из чипов выходит из строя (или даже несколько). Пока хоть один из чипов сохраняет работоспособность, сервер продолжит работать, хотя и со снижением общей производительности. Многозадачность. Мультипроцессорные серверы способны одновременно решать множество параллельных задач, что особенно полезно для систем, рассчитанных на обработку запросов от большого количества пользователей. Также они позволяют гибко распределять нагрузку или параллельно обрабатывать множество сложных вычислений. Поддержка современных технологий. Для эффективной работы многопроцессорных архитектур в них используют новейшие технологии, как в архитектуре кристаллов ЦП, так и в различных компонентах материнской платы (поддержка последнего поколения инструкций, продвинутый интерконнект сокетов). В плюсы многопроцессорных систем можно включить и эффективную обработку пиковых нагрузок, которые гибко распределяются на несколько процессоров, что позволяет обеспечить стабильную работу и сократить общее время выполнения сложных задач. Процессоры Intel Xeon Platinum 8173M имеют возможность масштабирования до 8 сокетов. Минусы мультипроцессорной архитектуры Одним из главных минусов многопроцессорных систем является высокая стоимость оборудования, из-за сложности проектирования и производства материнских плат и других комплектующих. К другим минусам можно отнести: Сложность конфигурации. Формирование серверной конфигурации, настройка работы и дальнейшее обслуживание будут сложнее и дороже для мультипроцессорных конфигураций. Потолок масштабируемости. Хотя такие системы предлагают большие возможности по масштабированию, оно возможно только до определенного уровня при превышении которого возникают проблемы, обусловленные сложностью межпроцессорного обмена данными. Задержки. Чем больше процессоров в системе, тем больше времени требует синхронизация и обмен данными между чипами, чем больше чипов, тем сильнее вырастают задержки. Программные ограничения. Далеко не все задачи и программы хорошо распараллеливаются и способны эффективно использовать достоинства многопроцессорных архитектур. Также к минусам можно отнести высокое энергопотребление, ведь потребуется не только обеспечить достаточное энергопитание, но и эффективный теплоотвод, поэтому не обойтись без дорогостоящих и сложных систем охлаждения. Сервер Supermicro SuperServer SYS-241H-TNRTTP имеют возможность на базе четырех сокетов LGA-4677 Яркие представители 4-х процессорных серверных платформ Мультипроцессорные системы с 4-мя сокетами являются одними из самых популярных, что обусловлено хорошим балансом между сложностью сборки, ценой и производительностью. Ниже мы рассмотрим самые известные и популярные платформы с четырьмя сокетами. LGA 1567 Этот разъем был презентован в марте 2010 года и стал одним из самых «короткоживущих» в истории, так как всего через год ему на смену пришел LGA 2011. Главным достоинством LGA 1567 была поддержка процессоров с количеством ядер до 10, что с учетом технологии Hyper-Threading давало до 20 вычислительных потоков на чип. То есть максимальная конфигурация сервера могла предложить 40 ядер\80 потоков при использовании четырех процессоров Xeon MP. Примечательно, что процессоры LGA 1567 базировались на архитектурах Nehalem и Westmere. Наименования эти архитектур вам могут быть знакомы, поскольку именно на них выпускались Intel Core процессоры на сокете LGA 1156. Пока десктопные аналоги имели до 4 вычислительных ядер, линейка Xeon MP могла похвастаться кратным увеличением ядер. Материнская плата Supermicro X8QB6-F на базе сокетов LGA 1567 G34 (LGA 1974) Этот сокет был разработан компанией AMD для новейших на момент выхода процессоров Opteron шеститысячной серии. Презентация G34 состоялась в 2010-м году, главной особенностью была поддержка широкого ряда чипов на двух архитектурах – устаревшей K10 и новой Bulldozer. При этом количество ядер в одном чипе могло достигать 16, но каждое ядро могло обрабатывать данные только в однопоточном режиме. Интересной особенностью G34 стала поддержка сверхъемкой ОЗУ LR-DIMM. Материнская плата Tyan на сокетах G34 с поддержкой до 4 CPU. Источник: TYAN LGA 2011 В 2011 году, Intel представила LGA2011 стал идейным продолжателем сокетов LGA 1366 и LGA 1567. LGA2011 мог быть снабжен различными линейками CPU: однопроцессорные Xeon E5 1600, двухпроцессорные Xeon E5 2600, четырехпроцессорные Xeon E7-4800 v2 и даже Xeon E7-8800 v2 с поддержкой до восьми сокетов. Материнская плата Supermicro X9QRi-F+ на базе четырех сокетов LGA2011-1. Совместима с процессорами Xeon E7 8800v2. Источник: Supermicro LGA 2011-1 Сокет LGA 2011-1, выпущенный в 2013 году, был «минорным» обновлением выпущенного ранее LGA 2011. Основной особенностью стала поддержка серверных процессоров Ivy Bridge-EX и Haswell-EX. LGA 2011-1 обеспечивал поддержку процессоров с 24 ядрами, что суммарно давало 96 ядра\192 потока. Но сокет LGA 2011-1 был актуален всего полтора года и в 2015 был заменен на следующую версию - LGA 3647. Материнская плата X10QBL-4, совместимая с 4 процессорами E7-8800 v4/v3, E7-4800 v4/v3. Источник: Supermicro LGA 2011-3 Популярный LGA 2011-3 также имел возможность установки многопроцессорной серии CPU Xeon E5-4600 v4/v3. Он был более доступным чем более продвинутый LGA 2011-1, однако имел ограничения по масштабируемости до 4-х сокетов. Процессоры E5-4600 v4 оснащались числом ядер до 22, как и их аналоги E5-2600 v4. CPU базировались на той же архитектуре, отличием было наличие дополнительных QPI линий для связи в 4-х процессорных конфигурациях. Процессоры Intel Xeon E5 4660v4 на сокете LGA2011-3 с возможностью установки в 4-х процессорный сервер. LGA 3647 Материнские платы с разъемами сокет LGA 3647 были выпущены в 2016 году. Они предложили поддержку новейших на тот момент серверных чипов от Intel Skylake EP и EX, которые предлагали до 28 ядер на одном кристалле при использовании Intel Xeon Gold и Intel Xeon Platinum. Но LGA 3647 могла предложить и гораздо больший уровень многопоточности за счет обеспечения поддержки чипов Xeon Phi. Эти ЦП были разработаны на основе предыдущих работ Intel над созданием собственного видеоускорителя, но основаны на архитектуре x86 и не требовали переписывания программ под специальные языки, такие как CUDA или OpenCL. Также к уникальным особенностям LGA 3647 можно отнести впервые реализованную поддержку накопителей и ОЗУ на основе 3D XPoint, а также существенно возросшую скорость обмена данными между сокетами за счет внесения серьезных доработок в архитектуру межпроцессорных соединений. Материнская плата Supermicro X11QPL может комплектоваться четырьмя процессорами Xeon Gold/Platinum первого и второго поколения. Источник: Supermicro LGA 4189-5 Сокет LGA 4189-5 был представлен в 2020 году и обеспечил поддержку процессоров Xeon Scalable третьего поколения. LGA 4189-5 отличался существенным увеличением количества контактов в сравнении с предыдущими вариантами процессорных разъемов. Это масштабирование потребовалось для обеспечения радикального увеличения скорости межпроцессорного обмена данными. В свою очередь такая потребность возникла в результате резкого прироста производительности, объема и скорости кэшей, а также расширения шины обмена данными. Максимум ядер в одном кристалле процессора для LGA 4189-5 составляет 28, что дает 56 вычислительных потоков. А суммарно 4-х сокетная платформа может предложить 112 ядер\224 потока. К плюсам платформы нужно отнести и поддержку накопителей Optane, 12-канальной памяти стандарта DDR4, а также использование высокоскоростного интерфейса UPI для связи процессоров и других комплектующих системы. Нужно отметить, что на основе LGA 4189-5 появились и 8-сокетный платформы, обеспечившие еще больший рост возможностей по масштабированию. Материнская плата X12QCH+ поддерживает до 4-х процессоров Xeon Gold/Platinum 3 поколения. Источник: Supermicro LGA 4677 LGA 4677 – новейший серверный сокет от инженеров Intel, презентация которого состоялась в 2022 году. Он предназначен для установки процессоров Xeon Scalable 4-го поколения, также в LGA 4677 была реализована поддержка новейшего стандарта ОЗУ – DDR5. Максимум ядер доступных для одного кристалла составляет 60, что суммарно дает 240 ядра\480 потоков в четырехсокетном сервере. Существенного прироста количества ядер удалось добиться за счет использования новейших техпроцессов и высокоэффективной архитектуре. Это позволило обеспечить практически двукратный прирост по этому показателю в новом поколении чипов от Intel. Нужно отметить и существенно возросшую в LGA 4677 поддержку машинного обучения и других операций в области искусственного интеллекта. Этого удалось добиться за счет внесения изменений в архитектуру серверных процессоров, а также общей оптимизации платформы для этого типа задач, например, применения 8-канального контроллера памяти. Материнская плата X13QEH+ совместима с процессорами 4 поколения Xeon Scalable c TDP до 350W, обладает поддержкой PCI-E 5.0. Источник: Supermicro 8-ми сокетные решения - для чего они нужны Это наиболее высокопроизводительные серверные решения, обеспечивающие максимум гибкости и масштабируемости. Их использование позволяет обеспечить максимум производительности для тяжелых задач. В их число входят: Научные исследования. Серверы для научных вычислений в сфере фармацевтики или в других направлениях науки должны предлагать максимум вычислительной мощности, поэтому именно применение 8-сокетных решений даст наилучшие результаты. HPC. Серверы для финансовых структур с 8-ю сокетами обеспечат как нужную производительность, так и достаточный уровень потенциального масштабирования, что будет особенно полезно для быстро растущих организаций. Также серверы для банковского сектора зачастую выбираются исходя из количества сокетов, так как они должны одновременно обрабатывать множество параллельных задач. Виртуализация. В крупных корпоративных средах есть потребность в запуске большого количества виртуальных машин, с этой задачей многосокетные конфигурации справляются значительно лучше, чем одно-двух сокетные. In-memory computing. Благодаря размещению нескольких процессоров на одной системной плате удается строить системы с кратно большим максимальным объемом RAM. Сегодня каждый CPU имеет обособленный контроллер памяти, что говорит о возможности масштабирования объема ОЗУ вместе с числом сокетов. В целом можно сказать, что 8-сокетные серверы являются лучшим решением для крупных компаний и организаций, которым требуется максимум производительности от одной машины. Но их можно рекомендовать и менее масштабным компаниям, планирующим дальнейший рост и беспроблемное масштабирование вычислительных ресурсов. Пример связи CPU через каналы UPI на базе восьми сокетов LGA 3647 в серверной платформе SuperServer 7089P-TR4T. Иллюстрация отображает сложность построения такого рода систем и проблемы в интерконнекте процессоров Вывод Многопроцессорная, то есть многосокетная компоновка стала логичным шагом в повышении производительности как серверов, так и компьютерной техники вообще. Ведь любой современный многоядерный процессор можно рассматривать как «сервер на чипе». Изначально, в многосокетных системах использовались именно одноядерные процессоры, что позволило впервые начать эффективно выполнять параллельные вычисления. Сейчас мультипроцессорные сервера предлагают поддержку чипов с многими десятками и даже сотнями ядер на одном кристалле. Такие системы незаменимы в области «тяжелых» научных вычислений, финансовом и корпоративном секторах, также они все чаще используются при решении задач, связанных с машинным обучением и другими нейросетевыми технологиями.