A.6Архитектура существующей информационной системы
В 2009 году в ММЦ в г.Москве и РСМЦ в гг Новосибирск и Хабаровск установлены высокопроизводительные вычислительные комплекс, в 2011-2013 годах вычислительные возможности комплексов расширены.
Структура комплекса состоит из следующих основных компонентов (Рисунок 1 ):
Рисунок 1 Типовая структурная схема вычислительных комплексов ММЦ в г. Москве, РСМЦ в г.г. Новосибирск и Хабаровск.
Вычислитель выполняет функции оперативного и научно-исследовательского счета, ресурсной поддержки научно-исследовательских разработок. Дифференциация задач выполняется по технологическим схемам каждого из центров установки. В комплект системы входит системная консоль организации доступа ко всем узлам системы для инженерного персонала.
Система управления данными состоит из:
дисковой системы хранения данных, обеспечивающей хранение данных на накопителях ЖМД и предоставляющей ресурсы для подсистем ввода-вывода Вычислителей, серверов баз данных и оперативных систем;
ленточной системы хранения данных, состоящей из автоматизированной ленточной библиотеки,
серверов системы управления данными, включая серверы архивирования и резервного копирования, иерархического хранения данных.
Серверы оперативной системы и баз данных включают в себя вычислительные серверы, локальные серверы оперативного назначения, в число которых входят серверы обмена оперативной информацией, серверы информационных систем Росгидромета, файловые серверы, обеспечивающие файловый и транзакционный обмен данными для клиентов ЛВС.
Серверы общего назначения обеспечивают функционирование основных сетевых сервисов, таких как DHCP, NTP, локальных DNS и почтового сервиса.
Абонентские рабочие места оперативного и научно-исследовательского назначения включают персональные компьютеры и станции визуализации оперативного и неоперативного персонала.
Локальная вычислительная сеть объединяет все компоненты информационной системы. Связь с существующей ЛВС осуществляется посредством двух интерфейсов Ethernet 10/100/1000 Base-T. Для обеспечения функционирования осуществляется мониторинг и управление сетевым оборудованием.
Вычислители выполняют функции оперативного и научно-исследовательского счета, ресурсной поддержки научно-исследовательских разработок. Дифференциация задач выполняется по технологическим схемам центра установки. В комплект системы входит системная консоль организации доступа ко всем узлам системы для инженерного персонала.
Таблица 1 содержит основные характеристики установленных Вычислительных комплексов.
Таблица 1 Конфигурация информационной системы
Центр Росгидромета
|
Пиковая произво-
дитель-ность TFlops (1012)
|
Тип вычисли-теля
|
Кол-во CPU/
CPU в узле
|
ОЗУ
Тбайт
(1012)/GB на ядро
|
Производитель
(фирма/страна)
|
Дисковая подсистема
Тбайт(1012)
|
ММЦ Москва
|
11
|
SGI Altix 4700
|
1664 / 128
|
6.6/4
|
SGI(США)
|
180TB=
60TB
SGI IS4000
+
120TB SGI IS10000
|
16
|
SGI Altix ICE8200
|
1408/8
|
2.8/2
|
SGI(США)
|
35
|
РСК ”Торнадо”
|
1152/12
|
4.608/4
|
РСК (Россия)
|
300TB
IBM Storwize V7000, IBM System Storage DCS3700
|
|
14
|
SGI ICE-X
|
720/20
|
2.304/3.2
|
SGI(США)
|
|
2
|
SGI UV 2000
|
96/96
|
1.024/10.6
|
SGI(США)
|
РСМЦ Новосибирск
|
0.7
|
G-Scale S4700
|
104 / 104
|
0.2
|
Крафтвэй
(Россия)
|
12.3TB SGI IS4000
|
РСМЦ Хабаровск
|
0.7
|
G-Scale S4700
|
104 / 104
|
0.2
|
Крафтвэй
(Россия)
|
12.3TB SGI IS4000
|
Кластер (Вычислитель #C1) SGI Altix4700 пиковой производительностью 11 TFlops построен на 832 2-х ядерных процессорах Intel Itanium 9140М с оперативной памятью 6.6 TB (1664 процессорных ядер, 4 GB на ядро). Вычислитель представляет собой систему с общей памятью, способен масштабироваться до 1024 ядер в рамках единого образа операционной системы. Архитектура SGI NUMAflex обеспечивает наилучшие (по проведенным тестированиям) значения полосы пропускания и латентности. Шина взаимодействия SGI NUMALink обеспечивает высокоскоростное взаимодействие между процессорами системы. На текущий момент Вычислитель логически делится на партиции/узлы (13 узлов): 1 партиция = 1 вычислительная стойка. В каждой партиции 32 виртуальных вычислительных узла (нод): 4 ядра + 16ГБ оперативной памяти. Две виртуальных ноды зарезервированы для системных процессов (8 ядер + 32ГБ памяти). Каждая аппаратная партиция имеет системные жесткие диски SAS с полезным объемом 300 GB с зеркалированием и высокопроизводительный доступ к Дисковой системе хранения данных через параллельную файловую систему SGI CXFS. Кластер функционирует под управлением операционной системы SLES 11SP1 (ia64).
Кластер (Вычислитель #C2) SGI Altix ICE8200 пиковой производительностью 16 TFlops построен на 352 4-х ядерных процессорах Intel Quad Core Xeon e5440 с оперативной памятью 2.8TB (1408 процессорных ядер, 2 GB на ядро). Вычислитель представляет собой широко распространенный тип блейд-систем, имеет 64-разрядную архитектуру EM64T/AMD64. Вычислитель состоит из 3-х вычислительных стоек, каждая из которых представляет собой: 4 IRU (Individual Rack Unit — блейд шасси), 15 вычислительных блейдов (лезвий), 8 ядер и 16GB оперативной памяти в каждом блейде. В качестве шины взаимодействия используется технология Infiniband DDR. Кластер использует бездисковый принцип работы - образ операционной системы разворачивается в оперативной памяти. Общая файловая система строится на базе технологии NFS over Infiniband. Кластер функционирует под управлением операционной системы SLES 10SP2 (x86_64).
Кластер (Вычислитель #C3) РСК “Торнадо” пиковой производительностью 35 TFlops построен на 192 8-и ядерных процессорах Intel E5-2690 с оперативной памятью 6,1 TB (1536 процессорных ядра, 4 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. В качестве шины взаимодействия используется технология Infiniband QDR. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения узлов кластера к дисковым массивам. Кластер функционирует под управлением операционной системы SLES 11SP2 (x86_64).
Кластер (Вычислитель #C4) SGI ICE-X пиковой производительностью 14 TFlops построен на 72 10-и ядерных процессорах Intel E5-2670v2 с оперативной памятью 2,3 TB (720 процессорных ядер, 3,2 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. В качестве шины взаимодействия используется технология Infiniband FDR, топология Enhanced Hypercube IB Interconnect Topology. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения узлов кластера к дисковым массивам. Кластер функционирует под управлением операционной системы SLES 11SP3 (x86_64).
Вычислитель #C5 SGI UV2000 пиковой производительностью 2 TFlops представляет собой систему с глобальной общей оперативной памятью, построен на 16 шести ядерных процессорах Intel E5-4617 с оперативной памятью 1 TB (96 процессорных ядер, 10 GB на ядро). Вычислитель имеет 64-разрядную архитектуру EM64T/AMD64. Общая файловая система строится на базе технологии NFS для подключений к файловой системе кластеров SGI и параллельной файловой системе GPFS для непосредственного подключения Вычислителя к дисковым массивам. Вычислитель функционирует под управлением операционной системы SLES 11SP3 (x86_64).
Дисковая подсистема общим объемом 180 TB имеет иерархическую структуру: 60TB SGI InfiniteStorage 4000 system (Дисковая система хранения данных #С1) и 120TB SGI InfiniteStorage 10000 (Дисковая система хранения данных #C2). Решение по Сети хранения данных (SAN) базируется на двух коммутаторах Brocade SilkWorm® 48000 (48K) и файловой системе SGI CXFS, которая является параллельной файловой системой, направляющей поток данных через SAN. CXFS обеспечивает соединение всех необходимых технологических серверов и узлов Вычислителя #C1 с Дисковой системой #С1 хранения данных. Файловая система работает совместно с SGI DMF – системой иерархического управления хранением SGI Hierarchical Storage Management, которая обеспечивает миграцию данных между дисковыми подсистемами. Вычислитель #C2 подключается к параллельной файловой системе непосредственным отказоустойчивым подключением к серверам метаданных (SGI Altix 450).
Дисковая система хранения данных #C3 строится на базе дисковых массивов 14 TB IBM Storwize V7000 , 300 TB IBM System Storage DCS3700. Решение по Сети хранения данных реализовано путем установки двух FC коммутаторов Express IBM System Storage SAN24B-4 с подключением к коммутаторам SW 48K и файловой системе GPFS, которая является параллельной файловой системой. GPFS обеспечивает соединение всех необходимых технологических серверов и узлов Вычислителя #C3 с Дисковой системой хранения данных #C3. Миграция данных между дисковыми подсистемами осуществляется также средствами GPFS.
Для обеспечения функционирования и управления компонентами вычислительной инфраструктуры используются Служба каталогов Microsoft Windows и ассоциированные с ней общесистемные службы. В число этих служб входят инфраструктура общего каталога на базе Microsoft Active Directory, базовые сетевые сервисы DHCP, DNS, NTP. В качестве почтовой серверной службы используется Microsoft Exchange, в качестве унифицированных коммуникаций используется Microsoft Lync.
ЛВС построена на базе:
Уровень ядра – коммутаторы Cisco 6509
Уровень распределения – коммутаторы Cisco 4948 с подключением к коммутаторам уровня ядра на скорости 10 Gbps по оптоволоконному каналу связи
Уровень резервирования серверной фабрики – коммутаторы Cisco 4948 с подключением к коммутаторам уровня ядра на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.
Уровень доступа – коммутаторы Cisco 2960 и Cisco 3650 с подключением к коммутаторам ядра и/или уровня распределения на скорости 1 Gbps по оптоволоконному каналу связи или UTP-соединению.
Система безопасности сетевой инфраструктуры построена на базе межсетевых экранов Cisco ASA серии 5500, серверов доступа Cisco ACS.
Система управления ЛВС реализована с использованием интегрированного решения Cisco LMS (элемент-менеджер активного оборудования) и HP OpenView NNMi (энтерпрайс-менеджер оборудования). Анализ сетевого трафика осуществляется с использованием Adventnet NetFlow Analyzer Professional. Мониторинг критически важных уязвимостей информационно-сетевых ресурсов обеспечивает сканер PositiveTechnologies XSpider Professional Edition.
Для управления рабочими местами на базе операционных систем Windows Server и SLES используется Microsoft System Center.
Для организации счета на вычислительных комплексах используется централизованная система пакетной обработки заданий Altair PBS Pro.
На базе указанных выше вычислительных систем производится оперативный и научно-исследовательский счет.
В специализированных региональных центрах в г.г. Новосибирск и Хабаровск пиковая производительность вычислителя компании G-Scale S4700 ЗАО «Крафтвэй Корпорэйшн ПЛС» на базе 52 процессоров Intel Itanium 9140М составляет 0,7 TFlops. Емкость дискового хранилища для центров в г.г. Новосибирск и Хабаровск – 12.3 TB на базе оборудования SGI InfiniteStorage 4000.
В настоящее время ресурсы комплексов полностью исчерпаны. Оперативные задачи занимают весьма существенную долю вычислительных ресурсов комплексов, что приводит к серьезному ограничению на использование ресурсов для научно-исследовательских работ по развитию и испытанию перспективных моделей и систем усвоения данных наблюдений.
|
