назад к списку
Описание и технические характеристики высокопроизводительного вычислительного комплекса (кластера)
Приобретаемый в рамках проекта «Инновационная образовательная программа» высокопроизводительный кластер состоит из нескольких компонент: вычислительного узла №1 (64 шт.), вычислительного узла №2 (2 шт.), двух управляющих узлов, трех файловых серверов, коммуникационной среды, комплекта управляющей сети, комплекта сервисной сети, подсистемы бесперебойного электропитания, подсистемы хранения данных, двух климатических системы и комплекта программного обеспечения.
Краткая характеристика основных компонент кластера:
-
Вычислительный узел №1. Двухпроцессорные сервера с четырехядерными процессорами AMD Opteron.
-
Вычислительный узел №2. Вычислительные двухпроцессорные (двухядерные), сервера, содержащие ускорители компании Celoxica.
-
Вычислительная сеть. Сеть на основе InfiniBand DDR 4x, построенная на базе масштабируемого коммутатора Grid Director Voltaire.
-
Система хранения данных построена на базе трех фаловых серверов, дисковой подсистемы хранения и ленточной библиотеки. Два файловых сервера используются для организации параллельной файловой системы на дисковом массиве и обеспечивают своевременное предоставление вычислительным узлам хранимых данных. При установке на кластер двух операционных систем файловые сервера разделяются и каждый отвечает за свою файловую систему. Третий файловый сервер отвечает за архивную подсистему кластера, реализованную на ленточной библиотеке.
-
Управляющий узел №1. Содержит инструментальные средства разработки, отладки, компиляции, трансляции (рис. 1).
-
Управляющий узел №2. Обеспечивает управление заданиями. При необходимости (одновременное использование двух разных операционных систем) каждый управляющий сервер будет выполнять две задачи одновременно.
-
Сеть управления заданиями. Сеть построена на базе коммутатора со скроростью передачи данных 1Gb/s.
-
Сеть мониторинга и управления аппаратной частью. Сеть построена на базе коммутатора со скоростью работы 100Mb/s.
-
Сервер мониторинга. Обеспечивает контроль и управление аппаратной частью кластера.
-
Система бесперебойного электропитания обеспечивает фильтрацию и стабилизацию электропитания. При отключении электропитания система обеспечит электропитанием кластер не менее чем на 10 минут.
-
Система охлаждения отводит выделяемое тепло и обеспечивает необходимые климатические условия для функционирования кластера.
Рис. 1. Управляющий узел кластера
Дополнительные характеристики кластера:
Вычислительные узлы №1 кластера основаны на новейших четырехядерных процессорах AMD Opteron («Barcelona») (рис. 2). Эти 64-битные процессоры архитектуры x86 обеспечивают следующие преимущества:
-
все четыре ядра размещены на одном кристалле и объединены общим кэшем третьего уровня. Этот четырехядерный процессор архитектуры AMD64 обеспечивает наилучшую масштабируемость и высокую скорость обмена между процессорными ядрами в отличие от конкурирующего продукта, представляющего собой два двухядерных процессора, объединенных на одной подложке;
-
процессор имеет интегрированный двухканальный контроллер памяти DDR2, что обеспечивает большую скорость обмена процессор-память и ведет к увеличению производительности;
-
высокоскоростная машина HyperTransport обеспечивает эффективный независимый обмен данными между подсистемами: процессор-процессор, процессор-память, процессор-устройства ввода.вывода;
-
система проверки целостности кэшей всех уровней и оперативной памяти обеспечивает высочайший уровень отказоустойчивости;
-
технология AMD CoolCore позволяет отключать неиспользуемые логические блоки в процессорном ядре, уменьшая энергопотребление;
-
уникальная система Independent Dynamic Core реализует независимое управление частотой и энергопотреблением каждого из четырех ядер;
-
используемая память DDR2 имеет более низкое энергопотребление и задержки доступа, чем FBDIMM, применяемая конкурентом.
Рис. 2. Один из вычислительных узлов кластера
Вычислительные узлы №2. Использован сервер IBM x3655 с двухядерными процессорами AMD Opteron, в слот HTX установлена карта ускорения вычислений компании Celoxica (рис. 3). Плата Celoxica RCHTX обеспечивает существенное ускорение наиболее часто используемых программных алгоритмов на рынке высокопроизводительных вычислений и считается одной из самых производительных и перспективных в отрасли.
Рис. 3. Карта ускорения вычислений компании Celoxica.
Анализ конфигурации кластера показывает, что вводящийся в эксплуатацию высокопроизводительный вычислительный комплекс, имеющий расчетную пиковую производительность более 4 TFLOPS (без учета работы ускорителей) обязательно займет свое место в рейтинге пятидесяти самых производительных суперкомпьютеров СНГ – TOP50, а, скорее всего, даже попадет в первую десятку наиболее производительных систем этого рейтинга.
Аппаратное и программное обеспечение вычислительного комплекса:
№
|
Компонент
|
Состав
|
1
|
Вычислительный узел №1 (64 шт.)
|
Сервер SuperMicro A Server 1021M-T2 B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores); RAM: 8Gb (8x1Gb); HDD: 1xSATA-II 160 Gb; карта мониторинга IPMI 2.0 over LAN, Dual ports.
|
2
|
Вычислительный узел №2 (2 шт.)
|
Сервер IBM x3655/Systx3655 2.8 G 2MB 1 GB 0HD/ CPU: Dual Core Opt Proc Model 2220/ RAM: 9Gb 1x(2x512Mb) 4x(2x1Gb)/ HDD: 1xSATA –II 500Gb/ HTX slot; Dual ports Infiniband 4x DDR HCA; Rails; 1U Карта-ускоритель Celoxica RCHTX acceleration card HTX; комплект разработчика один на 2 сервера DK Design Suite.
|
3
|
Управляющий узел №1 (1 шт.)
|
Сервер SuperMicro A Server 2021M-T2R B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores)/ RAM: 16Gb (16x1Gb)/ HDD: 5xSATA-II 250Gb/ Плата мониторинга IPMI 2.0 over LAN/DVD, FDD; Dual ports Infiniband 4x DDR HCA; Rails 1U.
|
4
|
Управляющий узел №2 (1 шт.)
|
Сервер SuperMicro A Server 2021M-T2R B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores)/ RAM: 16Gb (16x1Gb)/ HDD: 5xSATA-II 250Gb/ Плата мониторинга IPMI 2.0 over LAN/DVD, FDD; Dual ports Infiniband 4x DDR HCA; Rails 2U.
|
5
|
Файловый сервер №1 (2 шт)
|
Сервер SuperMicro A Server 2021M-T2R B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores)/ RAM: 8Gb (8x1Gb)/ HDD: 1xSATA-II 250Gb DVD Плата мониторинга IPMI 2.0 over LAN; Dual ports Infiniband 4x DDR HCA; PCI Ex Dual Port FC 4 Gigabit Adapter Qlogic; Rails 2U.
|
<fon
|
|