Совещания

Большие данные, грид, суперкомпьютеры...

Двухдневное рабочее совещание "Управление данными и анализ вызовов в мега-сайенс экспериментах" проходило в НИЦ "Курчатовский институт" и Лаборатории информационных технологий ОИЯИ. Слово его участникам.

Директор ЛИТ ОИЯИ В.В.Кореньков: Это рабочее совещание связано с большими данными в мегапроектах. Первый день оно работало в "Курчатовском институте", а сегодня все приехали в Лабораторию информационных технологий. В совещании участвуют известные специалисты из университетов США, ЦЕРН, европейских центров и Тайваня, и, конечно же, известные российские специалисты. Совещание организовано не только в форме выступлений, но и дискуссий, отработки решений, потому что все прозвучавшие доклады представляют собой предложения по совершенствованию глобальной компьютерной инфраструктуры, которая используется в существующих и будущих мега-проектах.

Большое внимание уделено моделированию крупных, облачных инфраструктур, были сделаны соответствующие доклады, обсуждалось, как будут развиваться современные компьютерные инфраструктуры в будущем, когда они станут огромными и будут решать задачи не только обработки данных LHC или других мегапроектов, но и задачи в области биологии, химии, климата, социальных проблем. Вопросов очень много: как организовать, оптимизировать, следить, обеспечить надежность и доступность, надежное хранение, - все это обсуждалось, я считаю, очень хорошими специалистами со всего мира. Отдельной темой обсуждались Tier1-центры - были представлены три доклада по Tier1 в Тайване, "КИ" и ОИЯИ. А завершилось совещание общей дискуссией и экскурсией по ЛИТ.

Профессор Каушик Де (Университет Техаса в Арлингтоне, США): Это совещание - начало новых планов по проекту NICA, нового сотрудничества разработчиков проекта PanDA, представителей разных российских институтов, разных экспериментов и коллабораций. Все, кто здесь выступают, имеют хорошую возможность обсудить новые направления проекта PanDA. Здесь можно поговорить непосредственно с разработчиками, с людьми, которые занимаются продвижением программного обеспечения. На совещании прозвучало много докладов, можно пообщаться со многими людьми, работающими в разных областях, что только улучшает сотрудничество.

- Разные проекты имеют свои программные решения. Проблемы стандартизации обсуждаются на этом совещании?

- Этот вопрос - часть нашей дискуссии, которая здесь продолжается. Мы берем проект, который очень хорошо себя зарекомендовал в эксперименте на LHC, и смотрим, какие его части могут быть общими, какие мы можем расширить, как их доработать для интеграции с другими системами - под другие задачи больших данных.

- С чем вы выступаете на совещании?

- Мой доклад посвящен международному сотрудничеству в рамках нового проекта MegaPanDA, руководит которым Алексей Климентов ("Курчатовский институт"), а ведущие организации - НИЦ "Курчатовский институт" и ЛИТ ОИЯИ. У университета в Арлингтоне и ЛИТ очень тесное взаимодействие. Я бывал здесь раньше неоднократно, у нас хорошее сотрудничество с В.В.Кореньковым. Последние полтора года два сотрудника лаборатории - Данила Олейник и Артем Петросян плотно вовлечены в работу по проекту BigPanDA.

- Первый день совещания прошел в "Курчатовском институте", что обсуждалось там?

- Было много различных дискуссий, в основном технических, с коллегами из "КИ", обсуждалась инсталляция PanDA, которая используется в этом институте. Она будет покрывать сразу несколько экспериментов, и различные технические решения, различные аспекты обсуждались в течение всего дня.

Е.А.Рябинкин (НИЦ "Курчатовский институт", Москва): "Курчатовский институт" строит Tier1 для трех виртуальных организаций - ALICE, ATLAS, LHCb, а в Дубне строят для четвертой - CMS. ATLAS и CMS открыли, как они говорят, бозон Хиггса, LHCb занимается b-кварками, а ALICE - кварк-глюонной плазмой, пытаясь наблюдать и понять, насколько хороши или плохи теории. В "КИ" мы поддерживаем три эксперимента, но ALICE - это наш основной эксперимент, потому что очень большая часть детектора сделана командой Владислава Манько в "КИ". Нынешнее совещание посвящено другой теме. Алексей Климентов, который какое-то время возглавлял off-line компьютинг для ATLAS, сейчас работает по мегагранту Правительства РФ по большим данным. Он собрал большое количество специалистов в этой области. Ведь не только грид - большие данные, то, что делает Google - большие данные, то, что делает у нас в России Yandex - большие данные. Кстати, Yandex вносит большую лепту в LHCb.

- Каким образом?

- Они отдают LHCb примерно 1000 вычислительных узлов. Это самый большой не грид сайт для LHCb в России. Алексей Климентов развивает различные направления - хранение данных, управление данными, переход с традиционных баз данных на так называемые NoSQL - специфическую область, возникшую 7-8 лет назад, которая предоставляет собой дополнительные возможности по сравнению со стандартными базами. Он пытается не только продвинуть все, что наработали в WLCG (грид, спроектированный в ЦЕРН и предназначенный для обработки больших объемов данных, поступающих с LHC) в экспериментах, но и распространить это вне WLCG, потому что есть разные проекты, например, космический телескоп или прогнозирование климата, геологические исследования, геомагнитная разведка. Главная цель - сделать так, чтобы та работа, которую проделали с детекторами LHC, распространилась и вне их.

А еще один интересный проект - запуск задач для грида на суперкомпьютерах. Есть, например, американский суперкомпьютер Титан (второй в списке самых производительных суперкомпьютеров мира), у которого некие ресурсы остаются неиспользованными. Данила Олейник (ЛИТ ОИЯИ) научился запускать на Титане задачи ATLAS. Эти 17 млн процессорных часов в год составляют примерно 10 процентов всех вычислительных ресурсов ATLAS в мире. Они пропадали бы на суперкомпьютере, но просто так запустить задачи ATLAS на суперкомпьютере довольно сложно, и это интересная область деятельности сегодня развивается. А, например, рядом с нашим Tier1 в "КИ" есть суперкомпьютер, и когда ATLAS или другой виртуальной организации требуются дополнительные вычислительные ресурсы, мы пытаемся предоставить их из суперкомпьютера в грид, чтобы они работали точно так же.

Вот такие задачи в целом, я надеюсь, продвинут науку и технологии, потому что по истории происходящего видно: Интернет вырос из оборонных целей, но стал таким, как есть сегодня, благодаря научным экспериментам, которым было необходимо передавать много данных. В любом случае задачи очень интересные, составляют пищу для ума - можно самому думать и решать и готовить себе смену, которая будет на них учиться ставить перед собой задачи и решать их.

Ольга ТАРАНТИНА,
перевод Данилы ОЛЕЙНИКА