РОЗВИТОК HPC В УКРАЇНІ
Головинский Андрей ( интервью)
РОЗВИТОК HPC В УКРАЇНІ
Пропонуємо вашій увазі інтерв'ю з науковим співробітником лабораторії високопродуктивних та розподілених обчислень Інституту кібернетики ім. В.М. Глушкова Національної академії наук України Андрієм Головинським, підготовлене для відомого російського журналу «Суперкомпьютеры».
З Гансом Моєром, засновником рейтингу найпотужніших суперкомп’ютерів світу Top500 та організатором щорічної міжнародної конференції ISC на другій Міжнародній науково-технічній конференції "Високопродуктивні обчислення 2012" (HPC-UA 2012)
Чи потрібні взагалі HPC та суперкомп'ютери в реальному житті, чи є ті, хто сумнівається в цьому? Чи розуміє це начальство, уряд, ЗМІ?
В Україні дуже поганий імідж науки в цілому. Іноді мені здається, що, коли мова заходить, скажімо, про кластер СКІТ Інституту кібернетики ім. В.М. Глушкова НАН України, багато хто уявляє собі щось типу БЕСМ-6 та дивується, навіщо це все потрібно, коли зараз навіть на нових iPad досить потужні процесори. На жаль, ні наявністю Infiniband FDR, ні серверних платформ останнього покоління стереотипи не змінити.
Тому, вибираючи ресурси для своєї задачі, компанія, підприємство будуть, в першу чергу, дивитися на вітчизняні комерційні датацентри, хмарні сервіси Амазона, Гугла, Яндекса тощо.
З іншого боку, багато наших користувачів пробували рахувати в різних хмарних сервісах та мають можливість порівнювати.
У приватних розмовах вчені з деяким подивом та розчаруванням визнають, що на СКІТ-4, СКІТ-3 задачі рахуються набагато швидше, ніж на деяких розрекламованих хмарних сервісах. Звичайно, для мене, як для системника, в цьому немає нічого дивного, досить порівняти архітектуру та характеристики основних підсистем.
Уряд не має особливої цікавості до HPC. Нещодавно, вибираючи пункти, до якого з державних пріоритетів відноситься чергова наша кластерна розробка, я з подивом виявив, що фундаментальна наука в цілому не фігурує у списку державних пріоритетів розвитку, тільки деякі прикладні аспекти, що вже говорити про суперкомп'ютери.
Тим не менш, суперкомп'ютерні обчислення в Україні дуже затребувані. Всі без винятку кластери заповнені на 80-100%, задачі днями стоять у чергах на отримання ресурсів.
Структура використання в середньому по Україні така: 40% - квантово-хімічні обчислення, 20% - молекулярна динаміка, інші 40% складають пошук нових ліків, геофізика, астрономія, фізика високих енергій та інші тематичні дослідження інститутів-власників кластерів.
Зручніше рахувати задачі на відносно невеликих кластерах або краще домовитися з американцями, європейцями, японцями та віддати їм? Наскільки це типово?
На це питання є кілька відповідей. З обчислювального боку, ефективність виконання багатьох розрахункових методів катастрофічно падає з ростом задіяних процесорів. У такій ситуації, припустимо, якщо є дві задачі, то їх ефективніше запустити паралельно кожну на половинній кількості ресурсів, ніж послідовно на максимальній.
Розуміючи це, багато наукових груп, що працюють на результат, запускають безліч відносно невеликих задач на 20-40 процесорних ядер кожна. У такому режимі невеликий кластер нічим не поступається великим суперкомп'ютерам. Часто на невеликому кластері легше отримати підтримку та консультації.
З іншого боку, звичайно, для багатьох задач необхідні набагато більші ресурси, тому українські вчені також рахують на кластерах в Росії, США, Європі, Японії, Китаї.
Хто краще за всіх розуміє необхідність HPC - вчені, інженери, нафтовики, кіношники?
У більшості вчених, з якими я розмовляв, необхідність та важливість суперкомп'ютерних обчислень для сучасної науки не викликає сумнівів. Це підтверджує і статистика використання комплексу СКІТ: його використовують більше 50 науково-дослідних інститутів (а це близько 30% всіх інститутів Національної академії наук України) з різних областей науки, аж до лінгвістики.
З промисловістю справи йдуть інакше. На мій погляд, на наукових конференціях, присвячених HPC, представники підприємств представлені вкрай слабко, або взагалі відсутні.
Тут виникає свого роду парадокс. З одного боку, навіщо наукові конференції підприємствам? Це не їх профіль. З іншого боку, суперкомп'ютерна тематика - це перспективна практична галузь науки на стику з інженерією, та сучасним підприємствам повинна бути вкрай цікава.
У будь-якому випадку, на даному етапі інженерні та промислові розрахунки на кластерах в Україні практично не представлені.
Компанії, які займаються розвідкою родовищ нафти та газу, досить активно використовують суперкомп'ютери, як в Україні, так і в світі. Звичайно, продуктивності українських кластерів недостатньо для розрахунку більш-менш великого родовища, тому значні проекти рахуються на суперкомп'ютерах в Росії або США.
З іншого боку, не маючи великих обчислювальних машин, багато команд розробників працюють над підвищенням ефективності розрахунків, зокрема, перейшли на використання прискорювачів Nvidia Tesla, Intel Xeon Phi, що дає велику перевагу.
Індустрія реклами та кіно активно цікавиться можливістю роботи на кластерах, проте більшість українських машин стоять в НДІ та не можуть використовуватись для таких ненаукових завдань. Думаю, все 3D моделювання виконується в комерційних датацентрах та хмарах.
Чи багато бюрократії під час отримання доступу на кластер? Наскільки сильні зв'язки між різними інститутами України? Із зовнішнім світом?
Отримати доступ на кластер український вчений може досить просто. В рамках організації зазвичай достатньо службової записки з проханням про доступ та заповнення форми реєстрації з короткою інформацією про себе.
Від вчених сторонніх академічних інститутів та університетів потрібно надіслати лист на ім'я дирекції з проханням про доступ, де вказати проект, в рамках якого ведуться роботи, орієнтовні обсяги необхідних ресурсів.
Неакадемічним галузевим інститутам, підприємствам та комерційним організаціям доступ отримати складніше. Це можливо тільки в рамках спільних науково-дослідних робіт, що обумовлене особливостями українського законодавства.
Іншим способом отримання доступу до ресурсів є використання гріда. Український національний грід є частиною європейської грід-інфраструктури EGI. Будь-який український вчений може отримати грід-сертифікат, зареєструватися в тематичній віртуальної організації, та вже через неї отримати доступ, як до українських кластерів, так і до закордонних.
Інститути, що мають кластери, а таких в Україні близько 40, та основні наукові групи, які використовують кластерні обчислення в своїх дослідженнях, досить тісно спілкуються.
У великій мірі це заслуга української грід-програми 2009-2013 рр., яка об'єднала кластери та встановила діалог. В рамках цієї програми два рази на рік проходять робочі наради, на яких в живій неформальній обстановці обговорюються напрями розвитку цієї галузі, налагоджуються контакти.
Контакти із зарубіжними суперкомп'ютерними центрами розвиваються набагато повільніше: в плані обчислювальних ресурсів нашими невеликими кластерами важко зацікавити європейських партнерів.
З іншого боку, сильною стороною українських наукових колективів є область розробки паралельного ПЗ, наукових досліджень із застосуванням кластерів. Практично у всіх великих проектах присутня активна міжнародна співпраця, досягнуті вагомі наукові та практичні результати.
Наскільки серйозна спеціальна HPC-освіта? Чи обходяться курсами перепідготовки?
HPC-освіта розвинена слабо, на більшості профільних факультетів ВНЗ паралельне програмування викладається дуже оглядово, якщо взагалі викладається. У Національному технічному університеті "КПІ" є навчальні курси з кластерних та грід-технологій для магістрів. Але це швидше заслуга викладачів, які самі працюють в цих областях.
Які перспективи розвитку HPC в Україні?
На мій погляд, у першу чергу будуть розвиватися галузі, в яких Україна має хороші позиції в світі та визнані результати. Це наукомістке паралельне програмування, прикладні пакети, в тому числі для геофізики, кліматичного моделювання, архітектура кластерів та системне ПЗ, системи самодіагностики та моніторингу суперкомп'ютерів.
Обладнання кластерних систем буде йти в ногу з часом, кластери будуть оновлюватися сучасними платформами, тестувати нові технології.
В цілому, українська наука з кожним роком все більше інтегрується у світовий простір, чому значно сприяє грід-інфраструктура, полегшуючи різні проекти, а також безліч міжнародних конференцій з тематики HPC, які проводяться в Україні, Росії. У майбутньому цей тренд посилиться.
Українське HPC співтовариство являє собою живий організм, що динамічно розвивається. Думаю, буде дуже цікаво спостерігати та брати участь в цьому процесі.
печатается по материалам: http://supercomputer.com.ua/ua/268-rozvitok-hpc-v-ukrajini.html
