ПГТУ - Инновационно образовательная программа
Лабораторное оборудованиеМетодическое обеспечениеИнформационные технологииАудиторный фондПовышение квалификацииКонференцииКниги и журналы
назад к списку


Описание и технические характеристики высокопроизводительного вычислительного комплекса (кластера)

     Приобретаемый в рамках проекта «Инновационная образовательная программа» высокопроизводительный кластер состоит из нескольких компонент: вычислительного узла №1 (64 шт.), вычислительного узла №2 (2 шт.), двух управляющих узлов, трех файловых серверов, коммуникационной среды, комплекта управляющей сети, комплекта сервисной сети, подсистемы бесперебойного электропитания, подсистемы хранения данных, двух климатических системы и комплекта программного обеспечения.

     Краткая характеристика основных компонент кластера:

  1. Вычислительный узел №1. Двухпроцессорные сервера с четырехядерными процессорами AMD Opteron.
  2. Вычислительный узел №2. Вычислительные двухпроцессорные (двухядерные), сервера, содержащие ускорители компании Celoxica.
  3. Вычислительная сеть. Сеть на основе InfiniBand DDR 4x, построенная на базе масштабируемого коммутатора Grid Director Voltaire.
  4. Система хранения данных построена на базе трех фаловых серверов, дисковой подсистемы хранения и ленточной библиотеки. Два файловых сервера используются для организации параллельной файловой системы на дисковом массиве и обеспечивают своевременное предоставление вычислительным узлам хранимых данных. При установке на кластер двух операционных систем файловые сервера разделяются и каждый отвечает за свою файловую систему. Третий файловый сервер отвечает за архивную подсистему кластера, реализованную на ленточной библиотеке.
  5. Управляющий узел №1. Содержит инструментальные средства разработки, отладки, компиляции, трансляции (рис. 1).
  6. Управляющий узел №2. Обеспечивает управление заданиями. При необходимости (одновременное использование двух разных операционных систем) каждый управляющий сервер будет выполнять две задачи одновременно.
  7. Сеть управления заданиями. Сеть построена на базе коммутатора со скроростью передачи данных 1Gb/s.
  8. Сеть мониторинга и управления аппаратной частью. Сеть построена на базе коммутатора со скоростью работы 100Mb/s.
  9. Сервер мониторинга. Обеспечивает контроль и управление аппаратной частью кластера.
  10. Система бесперебойного электропитания обеспечивает фильтрацию и стабилизацию электропитания. При отключении электропитания система обеспечит электропитанием кластер не менее чем на 10 минут.
  11. Система охлаждения отводит выделяемое тепло и обеспечивает необходимые климатические условия для функционирования кластера.

Рис. 1. Управляющий узел кластера

Рис. 1. Управляющий узел кластера

     Дополнительные характеристики кластера:

     Вычислительные узлы №1 кластера основаны на новейших четырехядерных процессорах AMD Opteron («Barcelona») (рис. 2). Эти 64-битные процессоры архитектуры x86 обеспечивают следующие преимущества: 

  • все четыре ядра размещены на одном кристалле и объединены общим кэшем третьего уровня. Этот четырехядерный процессор архитектуры AMD64 обеспечивает наилучшую масштабируемость и высокую скорость обмена между процессорными ядрами в отличие от конкурирующего продукта, представляющего собой два двухядерных процессора, объединенных на одной подложке;
  • процессор имеет интегрированный  двухканальный контроллер памяти DDR2, что обеспечивает большую скорость обмена процессор-память и ведет к увеличению производительности;
  • высокоскоростная машина HyperTransport обеспечивает эффективный независимый обмен данными между подсистемами: процессор-процессор, процессор-память, процессор-устройства ввода.вывода;
  • система проверки целостности кэшей всех уровней и оперативной памяти обеспечивает высочайший уровень отказоустойчивости;
  • технология AMD CoolCore позволяет отключать неиспользуемые логические блоки в процессорном ядре, уменьшая энергопотребление;
  • уникальная система Independent Dynamic Core реализует независимое управление частотой и энергопотреблением каждого из четырех ядер;
  • используемая память DDR2 имеет более низкое энергопотребление и задержки доступа, чем FBDIMM, применяемая конкурентом.
     

 Рис. 2. Один из вычислительных узлов кластера

 Рис. 2. Один из вычислительных узлов кластера

     Вычислительные узлы №2. Использован сервер IBM x3655 с двухядерными процессорами AMD Opteron, в слот HTX установлена карта ускорения вычислений компании Celoxica (рис. 3). Плата Celoxica  RCHTX обеспечивает существенное ускорение наиболее часто используемых программных алгоритмов на рынке высокопроизводительных вычислений и считается одной из самых производительных и перспективных в отрасли.

Рис. 3. Карта ускорения вычислений компании Celoxica.
  Рис. 3. Карта ускорения вычислений компании Celoxica.

    

     Анализ конфигурации кластера показывает, что вводящийся в эксплуатацию высокопроизводительный вычислительный комплекс, имеющий расчетную пиковую производительность более 4 TFLOPS (без учета работы ускорителей) обязательно займет свое место в рейтинге пятидесяти самых производительных суперкомпьютеров СНГ – TOP50, а, скорее всего, даже попадет в первую десятку наиболее производительных систем этого рейтинга.

 Аппаратное и программное обеспечение вычислительного комплекса:

 

Компонент

Состав

1

Вычислительный узел №1 (64 шт.)

Сервер SuperMicro A Server 1021M-T2 B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores); RAM: 8Gb (8x1Gb); HDD: 1xSATA-II 160 Gb; карта мониторинга IPMI 2.0 over LAN, Dual ports.

2

Вычислительный узел №2 (2 шт.)

Сервер IBM x3655/Systx3655 2.8 G 2MB 1 GB 0HD/ CPU: Dual Core Opt Proc Model 2220/ RAM: 9Gb 1x(2x512Mb) 4x(2x1Gb)/ HDD: 1xSATA –II 500Gb/ HTX slot; Dual ports Infiniband 4x DDR HCA; Rails; 1U Карта-ускоритель Celoxica RCHTX acceleration card HTX; комплект разработчика один на 2 сервера DK Design Suite.

3

Управляющий узел №1 (1 шт.)

Сервер SuperMicro A Server 2021M-T2R B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores)/ RAM: 16Gb (16x1Gb)/ HDD: 5xSATA-II 250Gb/ Плата мониторинга IPMI 2.0 over LAN/DVD, FDD; Dual ports Infiniband 4x DDR HCA; Rails 1U.

4

Управляющий узел №2 (1 шт.)

Сервер SuperMicro A Server 2021M-T2R B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores)/ RAM: 16Gb (16x1Gb)/ HDD: 5xSATA-II 250Gb/ Плата мониторинга IPMI 2.0 over LAN/DVD, FDD; Dual ports Infiniband 4x DDR HCA; Rails 2U.

5

Файловый сервер №1 (2 шт)

Сервер SuperMicro A Server 2021M-T2R B/ MB H8DME-2/ CPU: 2 AMD Opteron 2350 Quad-Core, 2.0 (8x2,0 GHz processor cores)/ RAM: 8Gb (8x1Gb)/ HDD: 1xSATA-II 250Gb DVD Плата мониторинга IPMI 2.0 over LAN; Dual ports Infiniband 4x DDR HCA; PCI Ex Dual Port FC 4 Gigabit Adapter Qlogic; Rails 2U.

<fon