Проекты XXI века

Развитие компьютинга для экспериментов на LHC

На заседании объединенного семинара коллаборации RDMS CMS "Физика на Большом адронном коллайдере" директор ЛИТ профессор В.В.Кореньков рассказал о создании компьютерной инфраструктуры для LHC.

Напомнив основные этапы развития глобальной грид-инфраструктуры, докладчик представил анализ развития модели компьютинга для экспериментов на LHC в соответствии с требованиями виртуальных организаций и пользователей, а также статистический анализ использования ресурсов, распределения потоков задач и данных в мире, России и ОИЯИ. В докладе были представлены наиболее значимые проекты по развитию систем грид, обозначены новые решения и перспективы нового направления Big Data. Особое внимание уделено работам по созданию центра уровня Tier1 в России для обработки, хранения и анализа данных для экспериментов на LHC на базе "Курчатовского института" и ОИЯИ.

Современные параметры грид

Я хотел бы начать с отрывка из выступления директора ЦЕРН на семинаре 4 июля прошлого года, который был посвящен открытию новой частицы.
Р.-Д.Хойер тогда выделил три составляющие успеха: великолепный ускоритель, очень хорошие детекторы и третье - грид-инфраструктура, которая позволила обрабатывать, хранить и анализировать данные, полученные на LHC.

Концепция организации компьютинга на LHC базируется на грид-технологии. Грид-системы появились еще в прошлом веке и сразу стали рассматриваться как основные технологии для будущего LHC. В начале этого века в Европе были запущены крупные проекты, в основном все они были направлены на создание надежной вычислительной инфраструктуры для обработки, анализа и хранения данных, получаемых в экспериментах на LHC, и других масштабных задач, которые имеют дело с колоссальным объемом информации, - в биологии, медицине, науках о Земле и других.

Первый крупный проект в этой области - EU DataGrid - заложил архитектурные решения, но инфраструктура еще не была создана. Второй проект, который начался примерно в это же время, WLCG (Worldwide LHC Computing Grid) - проект грид для Большого адронного коллайдера, в рамках которого и развивается активность по обработке и хранению данных. Самый большой европейский проект EGEE (The Enabling Grids for E-sciencE) - развертывание грид-систем для научных исследований. Он финансировался Европейским Союзом в течение 6 лет, с 2004 по 2010 годы, и в рамках этого проекта была создана достаточно устойчиво работающая грид-инфраструктура, которая поддерживала в том числе ресурсные центры виртуальных организаций LHC.

С 2010 года было принято решение о том, что каждая страна должна создать свою национальную грид-инфраструктуру, а проект EGI-InSPARE будет объединять региональные центры. К сожалению, многие страны не смогли этого сделать. Как правило, все успешно участвовали в объединении в грид-федерацию, а когда пришло время создавать свою инфраструктуру, некоторые страны не смогли этого сделать и за 2-3 года.

Хочу отметить еще один очень важный проект с точки зрения грида, он тоже финансировался Европейским Союзом, - EMI (инициатива по разработке европейского промежуточного программного обеспечения грида). Начиная с 2003-2004 годов стало создаваться много технологий так называемого промежуточного программного обеспечения (ППО). Трудно стало решать задачи обработки и анализа данных LHC, потому что многие организации и страны создали свою грид-инфраструктуру на своей платформе и объединение платформ было сложно осуществлять. Например, только в Европе использовались ППО ARC, gLite, UNICORE и dCache, объединение которых в единый продукт стало целью проекта EMI, что и было успешно реализовано.

Напомню, какие потоки данных идут со всех 4 экспериментов: CMS - 220 Мб/с, ATLAS - 320 Мб/с, ALICE - 100 Мб/с, LHCb - 50 Мб/с. Эти потоки первичных данных поступают в инфраструктуру ЦЕРН, которая называется Tier0. Здесь записывается информация, выполняются прием исходных данных, начальная реконструкция и распределение по грид-сайтам следующего уровня. Чтобы не все пользователи обращались в Tier0 (иначе никакие коммуникации не выдержат и эффективность работы обеспечить невозможно), необходимо создать центры хранения данных. В настоящее время таких центров хранения 11, они составляют уровень Tier1. Каждый из центров имеет прямой выделенный канал с ЦЕРН, чтобы получать данные с высокой скоростью и обеспечить их прием и постоянное хранение. Они также выполняют функции реконструкции и обработки и, факультативно, функции анализа. Однако их главное предназначение - получить все, что идет из ЦЕРН, обеспечить хранение и выполнять запросы центров следующего уровня на данные, то есть они должны обеспечить доставку данных в центры уровня Tier2 для обработки и анализа. Tier2 центры (их около 200) занимаются моделированием и анализом данных. В принципе, они могут не иметь большой системы хранения, им требуется больше вычислительная мощность, чтобы анализировать данные.

Несколько цифр, чтобы показать, каких параметров достигла объединенная грид-инфраструктура к марту 2013 года: 372 612 ядер в 315 ресурсных центрах, 180 петабайт дискового пространства и 167 петабайт в роботизированных ленточных хранилищах в 56 странах. По количеству задач, которые выполняются каждый день: 1,67 миллиона (2,25 с учетом локальных задач). Эта грид-инфраструктура обслуживает разные виртуальные организации, физика на LHC, конечно же, является главным потребителем - в среднем 70 процентов ресурсов, на втором месте медицина.

Грид в России

В 2003-2004 годах в России была создана так называемая RDIG (Russian Data Intensive Grid), национальная грид-федерация в проекте EGEE. В нее в разные периоды входило разное количество центров, причем специалисты ОИЯИ способствовали не только подключению российских центров, но и СНГ - Белоруссии, Украины. К сожалению, не все центры, которые входили в федерацию раньше, сейчас функционируют, некоторые просто сбавили темп. В настоящее время RDIG-инфраструктура состоит из 16 ресурсных центров, в которых доступно около 9000 процессоров и более 5000 TB дискового пространства.

Использование грид-инфраструктуры для решения задач анализа и обработки данных LHC разными странами можно посмотреть на специальном испанском портале. Я хотел прокомментировать информацию на март (когда проходил семинар - Г.М.) 2013 года, когда прошло чуть больше 14 месяцев с момента запуска коллайдера. За это время пользователям на LHC было выдано 20 млрд часов, выполнено более 700 млн задач. Россия в этом списке находится на почетном 10-м месте, примерно 2 процента ресурсов, это 410 млн часов, 23 млн решенных задач. Лидер - США, 33 процента, далее Великобритания, Италия, Германия, Франция, Швейцария, Канада, Нидерланды, Испания. Конечно, это не то место, которое должна занимать Россия, последние 3-4 года доля нашей страны снижалась, а сейчас, можно сказать, стабилизировалась, и думаю, начала усиливаться, поэтому есть перспективы, и эти перспективы хорошие.

Если посмотреть, как эти ресурсы распределены по четырем виртуальным организациям LHC, то 54 процента приходится на ATLAS, 29 процентов CMS, 10 процентов ALICE и 7 - LHCb. В России, надо сказать, ситуация изменилась. Раньше 5-6 центров были почти одинаковые по ресурсам, сейчас наблюдается очень резкое разделение, обозначились 3 основных центра, на которые приходится более 80 процентов ресурсов. Это ОИЯИ (45 процентов), "Курчатовский институт" (20) ИФВЭ в Протвино (19), остальные по несколько процентов. Очень обидно за НИИЯФ МГУ - если раньше он был в первой пятерке, то сейчас его доля снизилась практически до нуля. Не стало среди активных центров МИФИ, Института прикладной математики имени Келдыша и многих других. Распределение в России между виртуальными организациями более равномерное, чем в мире: ATLAS (37 процентов), CMS (27), ALICE (25) и LHCb (11). Что касается ОИЯИ, то CMS у нас составляет 61 процент от всего, что делается в России.

Об инфраструктуре ОИЯИ

У нас 4 года назад был создан канал Дубна-Москва на 20 Гбит/с. В этом году показатель будем увеличивать для нашего будущего проекта NICA. Наша опорная локальная сеть полностью переведена на технологию 10 Гигабит Ethernet, все лаборатории подключены по достаточно большой скорости. Наш центр является центром уровня Tier2, занимающимся анализом и обработкой информации. Имеет хорошие показатели: более 2,5 тысяч вычислительных узлов, дисковое хранилище около 2 петабайт, самое большое хранилище в России. По 2012 году у нас вполне хорошие показатели не только на уровне России - мы в пятерке лучших грид-сегментов Европы и в первой десятке мира; по количеству ресурсов, выданных нам на одно вычислительное ядро, мы находимся примерно в первой тройке. Эта инфраструктура у нас используется не только для LHC, мы поддерживаем другие виртуальные организации, в том числе CBM и PANDA, biomed, предоставляем ресурсы другим виртуальным организациям и, конечно, локальным пользователям. В этом особенность и сложность нашей инфраструктуры - мы поддерживаем очень много классов задач пользователей. Еще одним очень важным элементом является учебно-тестовая инфраструктура. На нашей учебной инфраструктуре мы поддерживаем разные среды, она состоит из 10 ресурсных центров (Россия, Украина, Болгария, Узбекистан, Казахстан, Монголия) и служит для обучения и тренинга пользователей, системных администраторов и разработчиков грид-приложений и программного обеспечения.

Огромная работа была проведена по созданию систем удаленного управления для ATLAS и CMS, можно сказать, во всех направлениях созданы инфраструктуры для эффективной работы, обучения, тестирования и анализа работы установки и детекторов.

WLCG

В этом проекте мы участвуем 10 лет, подписано соответствующее соглашение Россия-ЦЕРН-ОИЯИ. Перечислю несколько работ, выполненных в рамках этого проекта.

RDIG monitoring&accounting - система, которая была сделана лет семь назад и до сих пор находится в эксплуатации, обеспечивает понимание, где и как работают российские грид-центры. Очень хорошая, можно сказать пионерская работа FTS (FILE TRANSFER SERVICE) - система мониторинга передачи файлов.

Еще один важный проект Dashboard Google Earth, потому что он обеспечивает хорошую визуализацию работы WLCG в реальном времени. В ЦЕРН это приложение видят достаточно часто и хорошо, везде висят плазменные мониторы. Это позволяет следить в реальном времени за тем, что происходит во всем мире - передача файлов, запуск задач, возвращение результатов и загрузка каждого грид-сайта.

Очень важную работу мы делали полтора года назад для ATLAS. В 2010 году возникла серьезная проблема - не успевали обеспечить целостность хранения информации во всей глобальной грид-инфраструктуре. Централизованный каталог и грид-сайты, на которых хранилась информация, в какой-то момент оказались несоответствующими друг другу; из 150 петабайт дискового пространства больше 30 процентов в реальности были, а в каталоге отсутствовали. Ситуация осложнялась с каждым днем. ЦЕРН обратился к нам, я считаю, что задача была быстро и хорошо решена, создан новый сервис, который обеспечивает целостность хранения информации в географически распределенной среде. Данные эксперимента ATLAS распределены более чем на 130 грид-сайтах с общим объемом дискового пространства более 120 петабайт, в котором хранятся сотни миллионов файлов. Недельный объем удаляемых данных составляет 2 петабайта (20 000 000 файлов).

Еще одна важная работа в рамках этого проекта, в которой участвует только наша команда, это разработка следующего инфраструктурного слоя. Мы говорили об уровнях Tier1, Tier2. В какой-то момент оказалось, что все четыре виртуальные организации LHC запускают свои задачи и в центрах Tier2 стали образовываться очереди. Многие группы и лаборатории начали создавать свои небольшие кластеры, центры и так далее. Для чего? Они из Tier2 закачивали данные и сами их анализировали, без конкуренции. Образовался, можно сказать, неуправляемый конгломерат комплексов, которые включают разное программное обеспечение, аппаратные решения и т.д. И самое главное, было непонятно, что делается по обработке данных экспериментов. Нас попросили все это упорядочить. Мы провели анкетирование в американских и европейских центрах, систематизировали уровень Tier3, провели исследование. Создали у себя много виртуальных аналогов или моделей Tier3, исходя из этого анкетирования, для всех сделали дистрибутивы, как эту конфигурацию устанавливать, если кому понадобится. Далее инсталлировали систему локального мониторинга, которая собирает информацию, как функционирует Tier3, причем очень много пришлось делать заново. И в конце концов сделали систему глобального мониторинга - от каждого Tier3 собирается информация, она накапливается в ЦЕРН, и менеджеры всех экспериментов теперь знают, кто работает на уровне Tier3, какие данные использует, что анализирует и какие дополнительные ресурсы требуются. Задача была выполнена, система прошла тестирование, в конце прошлого года сдана в эксплуатацию. Это достижение нашей команды послужило продолжением Tier3-мониторинга - переходу на очень популярный протокол работы с данными XRootD, которым мы тоже теперь занимаемся.

Последний проект, который мы делали в рамках WLCG, это глобальная система мониторинга передачи данных в WLCG. Провести мониторинг по всем протоколам, по всем сервисам и виртуальным организациям всех экспериментов сложно, потому что используется много собственного ПО. Хотелось бы, чтобы по всем протоколам и системам были созданы свои коллекторы, которые собирают информацию обо всех передачах, систематизируют, записывают в одну базу и дают возможность посмотреть, какое количество данных передавалось, были ли ошибки в разных системах. Система оказалась достаточно сложной, мы вначале думали, что количество переданных данных примерно петабайт в день, оказалось больше. Сейчас система находится в опытной эксплуатации.

Что предстоит сделать

Анализ процесса обработки данных LHC показал, что предложенная модель недостаточно эффективна. Такая иерархическая древообразная среда приводит к огромному количеству потоков данных, которые передаются по разным центрам. Конечно, и скорости передачи данных существенно увеличились, и появились новые технологии, которые пока еще не апробированы на компьютинге LHC. Поэтому сейчас активно работает команда по проработке концепции и архитектуры усовершенствованной компьютерной модели. Одно из направлений - это как раз переход от иерархической структуры к более связной; второе направление - Tier0 тоже решили сделать распределенным, причем не только в ЦЕРН, но и в Будапеште. Думаю, к концу 2014 года модель компьютинга очень существенно изменится по сравнению с тем, что есть.

Если говорить об эволюции систем, то будут использоваться грид, облачная инфраструктура, параллельные вычисления; все это начинает очень тесно взаимодействовать и уже много проектов используют суперкомпьютеры для анализа данных. Пока это кажется утопической идеей, но на самом деле она и приведет к результату. Чтобы показать, как это все развивается, можно привести пример: в прошлом году между Будапештом и ЦЕРН создано два канала по 100 Гбит/с - первичная информация будет собираться в ЦЕРН, но часть функций Tier0 будет переложена на Будапешт.

И самое важное для нас - в 2011 году было направлено письмо министра образования и науки РФ директору ЦЕРН с предложением рассмотреть проект создания центра Tier1 в России. Практически весь 2012 год велась подготовительная работа. 28 сентября 2012 года на наблюдательном совете проекта WLCG был одобрен проект создания Tier1 центра на базе "Курчатовского института" и ОИЯИ. Будет создаваться, условно говоря, один центр, состоящий из двух частей, - одна площадка в КИ, другая в ОИЯИ. Мы уже создали два прототипа - Tier1 в КИ будет направлен на обеспечение ATLAS, в ОИЯИ - на обеспечение CMS. Нам в этом году предстоит решить очень серьезную задачу - к концу года мы должны полностью создать Tier1 центр. Хотя LHC не функционирует, но Tier1 будет работать, его параметры совершенствоваться, и к 2014 году мы должны быть полностью готовы к следующему этапу экспериментов на LHC.

Расскажу, какие сейчас делаются работы в этом направлении. Если раньше структура напоминала "звезду", от Tier0 данные шли к Tier1, а Tier1 между собой не соединялись, то несколько лет назад была сделана Connectivity (plan) - защищенная сеть, к которой подключаются только ресурсные центры Tier0 и Tier1 и некоторые большие центры Tier2. Что касается сети - мы сейчас активно прорабатываем способ, как соединяться с ЦЕРН. Есть такой вариант - делаем кольцо КИ-Дубна-Амстердам-Будапешт-КИ, дублированный канал. В Амстердаме установлено церновское оборудование, мы просто к нему подключаемся и считаем, что попали в ЦЕРН. Будапешт - это, по сути, Tier0. Таким образом, у нас получается дублированный канал по всем уровням, и если с одним что-то случается, есть альтернативный маршрут. Сейчас мы работаем с сетевыми провайдерами и имеем два предложения на реализацию этого проекта. К концу года мы должны реализовать два канала по 10 Гбит/с. Это наши планы, цифры "Курчатовского института" побольше, потому что они не только ATLAS будут обслуживать, но и ALIСE и LHCb.

В 2013 году у нас будет примерно 2-2,5 тысячи вычислительных узлов, примерно столько же имеем на Tier2 сейчас, но на Tier1 будет гораздо больше (в два раза) дискового пространства. И еще должен быть запущен в эксплуатацию ленточный робот на 6 петабайт, с каждым годом он будет увеличивать свои масштабы. То есть года через три-четыре мы должны иметь 10 тысяч узлов, 10 петабайт на дисках, 20 петабайт на ленточном роботе. Мы не оставляем Tier2, он продолжит работать. Таким образом, мы будет вторым центром в мире (сейчас только Лион), который поддерживает и Tier1, и Tier2. Мы понимаем, что это очень сложная задача, но от этой идеи не отказываемся. Можно сказать, что с точки зрения полигона мы задачу уже выполнили, теперь предстоит полномасштабная работа по Tier1.

И несколько слов о других перспективах. Сейчас активно развивается новое направление "Большие данные" (Big Data). Фактически основа этой технологии заложена на LHC, сейчас это направление развивают такие компании, как Google, Facebook и научные центры. В Америке финансируется очень крупный проект - импортирование ПО с LHC для решения вычислительных задач на суперкомпьютерах.

Материал подготовила Галина МЯЛКОВСКАЯ