Премии ОИЯИ

Грид-среда ОИЯИ сравнима с новой базовой установкой

Цикл работ коллектива Лаборатории информационных технологий "Грид-среда ОИЯИ - элемент Российской и глобальной грид-инфраструктуры", выполненный под руководством директора ЛИТ В.В.Коренькова, получил первую премию в области научно-методических исследований за 2013 год на конкурсе премий ОИЯИ. Впервые в России о необходимости создания российского сегмента грид было заявлено в 2001 году в докладе В.В.Коренькова на Всероссийской конференции "Интернет в научных исследованиях". ОИЯИ вместе с Россией реализовал эту уникальную возможность - полномасштабно включился в революционный процесс освоения и применения грид - новейшей компьютерной технологии XXI века. Редакция обратилась к В.В.Коренькову с просьбой донести до читателей суть этой работы.

Создание в ОИЯИ грид-сегмента и последующее его включение в мировую компьютерную грид-инфраструктуру - это важное технологическое достижение, которое имеет большое значение для реализации научной программы и развития международного сотрудничества ОИЯИ.

Начиная с 2000 года в мире реализовывались различные проекты, основной целью которых были апробация разрабатываемых грид-технологий и их развитие. В результате этих работ создана основа для внедрения грид-технологий в различные сферы деятельности. Полноценная проверка новых технологий стала возможна в различных научных приложениях, где имеются уникальные по своим масштабам вычислительные задачи, и поэтому основное финансирование грид-проектов в мире осуществляется государственными или международными организациями, причем объемы финансирования весьма значительны: десятки и сотни миллионов долларов на реализацию грид-проектов в научной сфере. Среди них можно отметить такие, как проект создания крупнейшего распределенного суперкомпьютера TeraGRID и проект GriPhyn в области физики высоких энергий в США, поддержанные Национальным научным фондом (NSF) и Министерством энергетики (DOE), европейские проекты EU DataGRID, EuroGRID, CrossGRID, DataTag и EGEE (Enabling Grids for E-sciencE), национальные грид-проекты в Великобритании, Италии, Польше, Франции и странах Скандинавии.

Практически все крупнейшие компьютерные фирмы мира оказывали поддержку грид-проектам, а во многих случаях прямо участвовали в соответствующих научно-технических разработках, понимая перспективу использования грид для бизнес-приложений.

Построение грид-среды ОИЯИ следует оценивать прежде всего в свете крупнейшего в мире информационно-коммуникационного инфраструктурного проекта - создание и развитие глобальной грид-инфраструктуры WLCG (Worldwide LHC Computing Grid, или Всемирный грид для Большого адронного коллайдера) для распределенной обработки, хранения и анализа данных экспериментов на LHC и Монте-Карло моделирования данных. Поток этих экспериментальных данных поистине огромен, на грани возможностей и компьютерной техники, и информационных технологий, - в 2012 году поступили десятки петабайт данных.

ОИЯИ активно участвует в экспериментах ALICE, ATLAS и CMS на Большом адронном коллайдере - начиная от этапа проектирования до создания детекторов, а в настоящее время принимает активное участие в действующей фазе ускорителя и физических установок на нем. На этапе получения и обработки реальных данных LHC необходимо было обеспечить возможность полноценного участия ОИЯИ и стран-участниц в этих работах, что требовало, согласно принятой в ЦЕРН модели компьютинга, создания в ОИЯИ сегмента грид и последующего его включения в глобальную грид-инфраструктуру WLCG. Эти работы были начаты в ОИЯИ в 2001 году - с участия в европейском проекте EU DataGrid, когда происходило начальное тестирование грид-среды и отдельных грид-сервисов и начиналась разработка систем глобального и локального мониторинга ресурсов виртуальных организаций. В 2003 году был образован консорциум RDIG (Российский ГРИД для интенсивных операций с данными, Russian Data Intensive GRID). Меморандум о создании консорциума был подписан руководителями восьми крупных институтов: Института физики высоких энергий (Протвино), Института математических проблем биологии (Пущино), Института теоретической и экспериментальной физики (Москва), Объединенного института ядерных исследований (Дубна), Института прикладной математики имени М.В.Келдыша, НИИ ядерной физики МГУ (Москва), Петербургского института ядерной физики и РНЦ "Курчатовский институт", а с 2008 года - Геофизического центра РАН (Москва).

В 2004 году созданный в ОИЯИ грид-сегмент стал одним из системообразующих компонентов пространства национальной грид-сети и был успешно интегрирован в мировую грид-инфраструктуру проектов EGEE/WLCG. Ресурсы грид-сайта ОИЯИ стали использоваться для массового моделирования физических событий и обработки и анализа данных для экспериментов на БАК, осуществлены работы по созданию системы массовой памяти на основе dCache.

Сотрудники ЛИТ ОИЯИ с самого начала активно участвовали в проекте EGEE (2003-2011 гг.). Два направления проекта: "Распространение знаний о гриде" и "Отбор и поддержка приложений" в России курировали сотрудники ОИЯИ.

В настоящее время грид-сайт ОИЯИ поддерживает в глобальной инфраструктуре грид-вычисления десяти виртуальных организаций (ALICE, ATLAS, BIOMED, CMS, DTEAM, FUSION, HONE, LHCb, RGSTEST и OPS), а также предоставляет возможность использования грид-ресурсов для экспериментов СВМ и PANDA. Основными пользователями грид-ресурсов ОИЯИ являются виртуальные организации экспериментов на LHC (ALICE, ATLAS, CMS и LHCb). Большой вклад сотрудники ОИЯИ вносят в тестирование и развитие промежуточного программного обеспечения грид, в разработку систем грид-мониторинга и организацию поддержки различных виртуальных организаций.

Наиболее впечатляющие результаты по организации глобальной инфраструктуры распределенных вычислений получены в проекте WLCG при обработке данных с экспериментов на БАК. На семинаре 4 июля 2012 года, посвященном наблюдению новой частицы, похожей на бозон Хиггса, на экспериментальных установках CMS и ATLAS, директор ЦЕРН Р.Хойер дал высокую оценку грид-технологиям и их значимости для мировой науки. Он выделил три составляющие, обеспечившие получение этого результата, - ускорительный комплекс ЦЕРН, экспериментальные установки и грид-инфраструктура LHC. Грид-инфраструктура позволила обрабатывать и хранить колоссальный объем данных, поступающих от экспериментов на коллайдере, и, следовательно, совершать научные открытия. Свой вклад в этот результат внесен грид-сайтом ОИЯИ, который на протяжении всех этих лет был лидирующим в консорциуме RDIG и входил в первую десятку грид-сайтов уровня Tier2 в мире.

Следует отметить также и организацию первой, и единственной до сих пор в России, методической основы и учебной инфраструктуры для подготовки специалистов по грид-технологиям. За прошедшие десять лет был организован ряд образовательных курсов, на которых высочайшую научно-техническую подготовку в этой области получили многие молодые специалисты из России и стран-участниц ОИЯИ, а также из других стран. Единственная в России специализированная конференция по грид-технологиям и распределенным вычислениям организована и традиционно проводится раз в два года в ОИЯИ с 2004 года. Особое внимание использованию и развитию грид-технологий уделяется на симпозиумах по ядерной электронике и компьютингу (NEC), c 2001 по 2013 год раз в два года организуемых ОИЯИ совместно с ЦЕРН и ИЯИЯЭ БАН (София). Создан и постоянно пополняется информацией двуязычный портал "Грид в ОИЯИ" (http://grid.jinr.ru/).

Неоспоримым доказательством мирового признания достижений ОИЯИ в этой области является тот факт, что мировым сообществом грид был одобрен проект по созданию в ЛИТ ОИЯИ грид-центра 1-го уровня для эксперимента CMS. Для осуществления подобного проекта требуются высокая квалификация специалистов, четкая и сбалансированная настройка всего сложнейшего программного и аппаратного комплекса для обеспечения бесперебойной круглосуточной работы с высоким уровнем надежности и доступности. В настоящее время в ОИЯИ идет полным ходом реализация этого масштабного проекта.

Основные результаты цикла работ, выполненных за последние двенадцать лет, можно сформулировать следующим образом:

• Реализована полнофункциональная грид-среда ОИЯИ, успешно интегрированная в глобальную грид-инфраструктуру. По своим показателям она одна из самых надежных и производительных в мировой инфраструктуре WLCG.
• Создана система массового обслуживания для многих тысяч исследователей международных коллабораций в различных сферах научной деятельности.
• Развита система для ОИЯИ и институтов стран-участниц, которая позволяет совместно осваивать и применять грид-технологии для целей физических экспериментов и участвовать в создании национальных грид-сегментов.
• Создана основа для объединения и совместного использования информационных и вычислительных ресурсов, распределенных баз данных, электронных библиотек, современных систем для организации хранения и обработки больших массивов экспериментальных данных, обеспечения возможности удаленного участия физиков из стран-участниц в работе на базовых установках ОИЯИ.

Все направления научно-технологической активности не только авторов этого цикла работ, но и всего коллектива ЛИТ, несомненно, имеют важнейшее значение в части информационно-коммуникационного обеспечения научно-методического и научно-технического участия ОИЯИ в мегасайенс проектах в следующее десятилетие. Это и эксперименты на LHC в следующем рабочем сеансе с 2015 года, и осуществление их модернизации для третьего рабочего сеанса с 2018 года.

В 2018 году планируется начало работы нового мегапроекта FAIR (Дармштадт), в котором модель компьютинга для обработки и анализа экспериментальных данных обязательно будет разрабатываться на основе новейших инноваций, в том числе и основанных на новых научно-технологических разработках авторского коллектива. Эти инновационные работы найдут важнейшие применения и в разработке модели компьютинга мегапроекта NICA, реализация которого начата в ОИЯИ.

Участие в крупнейших международных грид-проектах позволяет ОИЯИ быть на мировом уровне и не отставать от мировых тенденций в области обработки экспериментальных данных - и на данном этапе эта возможность в значительной степени обеспечена усилиями авторского коллектива.

Вся эта деятельность позволила в последние годы коллективу ЛИТ развернуть работы по переходу на новый научно-технологический уровень компьютерного обеспечения научных исследований. Здесь следует отметить очень перспективные работы по созданию облачных структур центров разного уровня, интегрированных в грид-среду WLCG. Необходимость этой инновационной разработки заключается в том, что облачные вычисления, появившиеся в последние 5-7 лет в бизнесе, предоставляют эффективные возможности для подключения гетерогенных компьютерных ресурсов для выполнения различных этапов обработки и анализа, а также моделирования данных экспериментов научных мегапроектов. Еще одно из направлений активности - участие в развитии BigPanDA, основанной на технологии выполнения заданий в грид-среде PanDA, ставшей в настоящее время наиболее перспективной в рамках концепции BigData, в частности для создания нового поколения технологий управления работой с большими объемами данных. Эта работа выполняется совместно с ЦЕРН и BNL, к ней сейчас активно подключается и НИЦ "Курчатовский институт".

Создание в ОИЯИ грид-сегмента и последующее его включение в мировую компьютерную грид-инфраструктуру является важным технологическим достижением и имеет большое, а в некоторых случаях и ключевое значение, для реализации научной программы и международного сотрудничества ОИЯИ. Если говорить об уровне и значимости проведенных работ, то грид-сегмент можно отнести к категории создания уникальной базовой установки ОИЯИ.