Суперкомпьютеры в России — сегодняшние реалии и завтрашние тенденции

Введение

Пожалуй, сегодня любой понимает, что экономика России должна переходить из сырьевой сферы в производственную и высокотехнологичную. Это та задача, в решении которой мы должны участвовать, чтобы обеспечить лучшее будущее нашим потомкам. Но за последний десяток лет, в то время пока нефть обеспечивала основной доход страны, высокие технологии внесли свои коррективы в развитие науки, культуры и экономики развитых стран.

Высокопроизводительные вычисления сегодня — обязательный атрибут каждой страны, которая заинтересована в экономическом развитии. И если президентом РФ определен курс на модернизацию экономики, необходимо оценить, готовы ли IT-сфера и наука России к решению задач, которые будут поставлены промышленностью, социальной сферой, прикладными исследованиями и… этот список можно продолжать. 21 июня 2010 года в Новосибирском Академгородке прошла конференция, посвящённая суперкомпьютерным технологиям. Организаторы в шутку называют подобные мероприятия собраниями «клуба суперкомпьютерщиков» — компаний и людей, имеющих отношение к высокопроизводительным вычислениям в России. Организованный корпорацией intel, этот клуб пока ещё не слишком многочисленный, но он открытдля каждого. Вопросы, поднятые на конференции, позволяют понять место России не только в списке ТОП — 500 но и в мировой науке и в мировом бизнесе.

Почему вычисления важны для страны?

В каждую эпоху изменение инфраструктуры, дающее качественный скачок экономике, было разным: развитие железных дорог, электрификация, внедрение коммуникационных технологий, распространение интернета. Сегодня пришло время «кибер-инфраструктуры», вычислительных сетей. Основное конкурентное преимущество создают новые технологии. Естественно, что их нельзя просто купить – их нужно создавать. И как ни печально, но в современном мире ни талантливая молодёжь, ни деньги не позволят государству эффективно развивать новые технологии без совершенствования вычислений. Новые материалы, научные разработки и экономические процессы необходимо моделировать, просчитывать, а только затем проводить практические опыты и задумываться о применении.

Почему моделирование важно в любой отрасли экономики? Вот простой пример: конструкция нового типа клапана для нашей любимой нефтяной отрасли. Клапана, который будет выдерживать заданные механические перегрузки, заданное давление и будет обеспечивать необходимый уровень надёжности и пропускной способности. Необходимо не только создать 3D-модель этого устройства, но и протестировать её до создания прототипа с использованием современного ПО, смоделировать различные ситуации, посмотреть, как проходит поток через клапан, оптимизировать его форму, выбрать новые материалы. На суперкомпьютере эта задача займёт в миллионы раз меньше времени, чем при ручных расчётах. Естественно, если пять разных компаний получили тендер на такой простой, вроде бы, клапан, то заказ получит, по сути, та, которая наиболее эффективно использовала вычислительные технологии.

Пока еще не все компании в России понимают, насколько вычисления могут дать им преимущества в конкурентной борьбе и позволить сэкономить деньги. А тем временем, например, в США суперкомпьютеры строятся уже не на деньги государства, а на деньги регионов, то есть их важность понимают и на региональном уровне. И это достаточно мощные машины, ведь по ту сторону океана бизнес и правительство понимают, что для развития надо не просто производить вычисления — надо в них побеждать, побеждать по качеству вычислений и скорости.

Вот проблема: прогноз погоды. Каждый из нас знает, что даже если обещали солнечный день, зонтик взять будет не лишним. И, вроде бы, мы так привыкли к перемене погоды и ошибкам метеорологов, что не обращаем внимание на внезапный дождик или штормовое предупреждение всего за час до шквалистого ветра. Однако многие отрасли бизнеса сильно зависят от погоды, а для авиационной отрасли метеорологи — это глаза и уши. Академик Юрий Леонидович Ершов, председатель объединённого ученого совета по математике и информатике СО РАН, уточняет: метеорология — простой пример, который показывает, что эта отрасль требует высоких вычислений, а качественное развитие самолётостроения вообще не возможно без HPC (High Performance Computing). И вполне логично, что инвестиции в HPC должны осуществляться в регионах, имеющих мощную науку и промышленность, таких как Новосибирск. Ведь это именно то место, где сообщество HPC должно найти точки взаимодействия между наукой и промышленностью.

Новосибирский Государственный Университет

Прежде, чем мы пойдём дальше, позвольте показать вам суперкомпьютер, установленный в Новосибирском государственном университете. Вот он, красавец:

В кластере установлены 64 блейд-сервера HP BL460C G1 X5355 и 48 серверов HP BL2x220c G5, итого 1280 процессорных ядер. В качестве СХД используется параллельная файловая система хранения на базе СХД HP Eva объёмом 24 Тб (скорость чтения — 1 Гб/с, записи — 800 Мб/c). Каждый сервер hp прошёл дополнительное тестирование перед установкой. Возможно, в скором времени в кластер будут добавлены серверы HP DL380 G6.

Кластер в НГУ установлен в отдельном помещении и располагается на двух уровнях. Нижний этаж отведён под подведение питания и коммуникаций. Система бесперебойного питания от APC рассчитана на 81 КВт. Энергопотребление составляет, в среднем, 40 Квт. Весь кластер построен с учетом резервирования и не имеет единой точки отказа.

Интересное наблюдение — большая часть кластеров в России используют технологии Hewlett Packard. Ведь в среднем, сервер HP стоит столько же, сколько сервер dell в той же конфигурации. Хотя, среди заказчиков суперкомпьютеров успехом пользуется российский интегратор, компания СКИФ.

Современные примеры использования HPC в науке и бизнесе

Конечно, легче всего судить об использовании суперкомпьютеров в России на примере уже состоявшихся достижений. Ну что же, вот вам примеры. Николай Александрович Колчанов, академик РАН, директор Института цитологии и генетики СО РАН лучше других знает об использовании HPC в биологических исследованиях. С тех пор, как с помощью суперкомпьютеров началась расшифровка генома человека, появились перспективы разрабатывать персональные препараты, формировать карточку пациента с момента рождения, учитывая склонность к тем или иным заболеваниям, лечить заболевания на генном уровне. Этими задачами занимается системная биология — предсказательная наука, она возникла 10 лет назад и сегодня немыслима без математических вычислений.

На фотографии: моделирование 3D-структуры протеина под высоким давлением требует на современном кластере 12 000 процессоро-часов

В Институте цитологии и генетики СО РАН уже используются кластеры на 6,4 и 12 ТЕРАФЛОПС. И хотя на кластере с 64 процессорами геном мамонта расшифровывался 180 часов, что не так уж и много, в дальнейшем этой мощности будет недостаточно. Ведь для работы с высокой точностью, для охвата больших объёмов информации, необходимо создавать даже новые методы поиска по базам данных, учитывающие перекрёстные ссылки в документах и описаниях различных веществ, а это требует нового уровня консолидации данных и высочайшей производительности HPC — до нескольких экзафлопс. Так что основные прикладные достижения системной биологии мы увидим в течение ближайших 10 лет.

А вот более «прикладные» примеры расчётов, осуществлявшиеся в Южно-Уральском Государственном Университете, г. Челябинск, на кластере «СКИФ-Урал» с пиковой производительностью 16 ТЕРАФЛОПС. Проектирование и расчёт смесеобразования в ракетных двигателях (ФГУП «НИИМАШ», Нижняя Салда).

Деформирование и разрушение тканевых бронежилетов при локальных ударах (ЗАО «Форт Технология», Москва). Эти расчеты позволили понять процесс взаимодействия пули с бронежилетом скрытого ношения из новационных материалов. На основании моделирования, появилась возможнность создать именно такие, лёгкие и скрытые бронежилеты, защищающие органы человека, и что самое главное — работающие по новому принципу использования эластичности синтетического материала. Представляете, сколько жизней они могут спасти?

Современный тренд Российской науки — нанотехнологии. Эту отрасль вообще невозможно представить без HPC. На том же кластере в Южно-Уральском Университете производилось моделирование процессов газофазной конденсации металлических наночастиц. Что скрывается за этим сложным названием? Новые лаки и краски, защита от ржавчины и сэкономленные миллионы на научных экспериментах.

Вообще, по аналитике Южно-Уральского Государственного Института, сегодня вычисления на суперкомпьютере распределяются следующим образом: 54% — инженерные задачи, 42% — естественнонаучные, и лишь 4% — социально-экономические. Но, в принципе, это нормально, учитывая, что моделирование свойственно, прежде всего, инженерным задачам.

Насколько сегодня мы готовы к эффективному использованию суперкомпьютеров?

Казалось бы, что тут сложного — написать параллельные алгоритмы, или использовать готовый программный пакет для моделирования, чтобы на мощном кластере с тысячей процессоров рассчитать задачу за несколько дней или часов? Однако не всё так просто. В современных процессорах Intel Xeon имеются 8 ядер, и в дальнейшем их количество будет расти. Важно правильно распараллеливать программный код не только между узлами суперкомпьютера, но и между процессорами и ядрами, обеспечивая максимальную масштабируемость – возможность наращивания числа элементов вычислителя с увеличением скорости обработки данных без необходимости переписывать программный код. Исследования, проведённые в том же Южно-Уральском Государственном Университете, показывают, что более 40% выполняемых на их суперкомпьютере вычислений расчитаны на использование одного ядра процессора. То естьони используют лишь малую часть каждого узла кластера. Как правило, это так называемый «самописный код», предоставляемый клиентом. Более 25% клиентов используют собственно разработанное ПО.

Однако, восьмиядерные задачи составяют уже более 50%, а третье место в списке (правда всего 6.4%) занимают приложения, рассчитанные на использование 16 ядер. Представляете, насколько неэффективно могут использоваться суперкомпьютеры? А ведь в этом большая проблема. Для развития промышленности нужны не только новые материалы, но и новые алгоритмы вычислений. Поэтому появился термин «информационная экология» — правильная математика, исключающая ненужные вычисления, чтобы экономить время на обмене данными между узлами.

Однозначно можно сказать, что в России ещё предстоит большая работа по воспитанию культуры высокопроизводительных вычислений. Правильное программирование, разработка новых алгоритмов, новых математических моделей и пристальное внимание государства и бизнеса к теме HPC — слагаемые, которые могут обеспечить успех только вместе. Но в настоящее время далеко не все компании понимают, насколько перспективно инвестировать в HPC и готовить специалистов по высокопроизводительным вычислениям.

Как Intel помогает развитию суперкомпьютеров в России?

Внедрение культуры суперкомпьютеров — процесс не одного года. Это инвестиции, причём, не только в технологии, но и в людские ресурсы. Intel — это прежде всего процессоры, на которых построено более 80% суперкомпьютеров в TOP500. Поэтому процессорные технологии — основа основ.

Но процессоры — это не просто тактовая частота и объём кеша, это понимание современных тенденций. А тенденции, прежде всего, требуют повышения производительности в расчете на каждый ватт потребляемой электроэнергии. Возможно, по синтетическим тестам каждое новое поколение Xeon не сильно выигрывает у предыдущего, но в реальных задачах они показывают и большую производительность, и меньшее энергопотребление. И для вас уже, наверное, не секрет, что следующее поколение на архитектуре Sandy Bridge будет на 30% быстрее, чем Westmere, и почти в 2 раза быстрее современных Xeon серии 5500. Но даже сегодня в реальных задачах семейство Xeon 5500 может обеспечивать до 3-кратного превосходства над Xeon 5400. Хотя, опять-таки, всё зависит от приложения.

Ещё одна тенденция — увеличение производительности одного узла за счёт добавления add-in плат. Примеры использования GP-GPU показывают, что нельзя сбрасывать со счетов этот быстрорастущий рынок. Intel готовит свое решение, архитектуру MIC (Many Integrated Cores), вычислительную плату с интерфейсом PCI Express 16x, которая сможет составить конкуренцию GP-GPU платам, но будет использовать архитектуру, общую с Intel Xeon, компиляторы C, C++, Fortran. Этот продукт с кодовым наименованием Knights Ferry уже анонсирован, но о сроках его выхода на рынок и о стоимости пока ничего не известно.

Но, как вы уже поняли, программная часть не менее важна в суперкомпьютере, чем аппаратная. Поэтому Intel разрабатывает целый набор инструментов для параллельного программирования, помогающий эффективно распределять задачи между ядрами. В число этих инструментов входят Intel Parallel Studio, HPC Tools, Cluster Tools. С помощью этих инструментов разработчик сможет диагностировать узкие места при вычислениях и отладить код для более высокой эффективности.

А вот что особо интересно — программное обеспечение Intel разрабатывается, в том числе, и в России. В Новосибирском Академгородке располагается центр разработок ПО Intel, в котором российские программисты работают над компилятором для параллельных и высокопроизводительных вычислений, а так же разрабатывают новые вычислительные методы и алгоритмы. В офисе, занимающем три этажа, работают талантливые специалисты, выпускники новосибирских вузов. Здесь производится не только разработка, но и тестирование компиляторов под различными платформами.

Лаборатория Intel для тестирования компилятора на серверных платформах

Требования по качеству и совместимости, которые накладывает Intel, заставляют прогонять компиляторы на всех процессорах Intel, не только на Xeon и Itanium, но и на Intel Atom и всех десктопных процессорах. Для работы используются серверы, настольные ПК и даже моноблоки Apple iMac (на процессорах Intel). Для этих целей используются собственные локальные IT-лаборатории компании.

Лаборатория Intel для тестирования компилятора на настольных и мобильных платформах

Кроме того, Intel постоянно проводит семинары и участвует в образовательных программах, помогая готовить специалистов, которые потребуются нашей стране уже завтра. Это — и сезонные школы параллельного программирования, мероприятия в университетах, поддержка учебных заведений учебными пособиями, обмен опытом и многое другое…

Процессоры — лишь малая часть суперкомпьютеров, хотя и очень важная. Существенную долю стоимости добавляют и системы охлаждения, и интерконнекты, и системы хранения данных. Так почему же создаётся ощущение, что только Intel заботится о будущем и инвестирует в людские ресурсы?

Перспективы суперкомпьютерных технологий в России

Для таких задач, как моделирование живой клетки, поведения самолета в различных ситуациях, Большого взрыва Вселенной, создания синтетического топлива и получения точных долгосрочных прогнозов погоды, необходимо преодолеть новый рубеж производительности суперкомпьютеров — 1 ЭКСАФЛОП. Учитывая, что сегодня мы подошли к 2 ПЕТАФЛОПС, это перспектива ближайших десяти лет.

Конечно, далеко не каждое предприятие может позволить себе купить, содержать и использовать суперкомпьютер. Вероятнее всего, должна быть создана сеть высокопроизводительных вычислений, содержащая топовые модели с максимальной производительностью в основных регионах нашей страны. Это позволит снизить нагрузку на каналы связи и сократить расходы на построение ЦОД и электроэнергию.

Системы второго уровня, более слабые, должны быть равномерно распределены по регионам с развитой наукой, образованием и промышленностью. Как считает Леонид Борисович Соколинский, профессор, зав. кафедрой Южно-Уральского государственного университета, высокопроизводительные вычисления должны иметь «облачную» структуру, которая позволит любому университету, конструкторскому бюро или предприятию пользоваться их мощностями удалённо, возможно с оплатой за процессорочасы.

Естественно, такой путь развития невозможен без поддержки на уровне правительства РФ — выделения бюджетов на построение HPC, развитие каналов связи, предоставления дополнительных льгот институтам. Ведь когда потребность в вычислениях. Это должна быть долгосрочная программа, которая обеспечит переход на инновационную экономику.