ЛИТ - 50. Спецвыпуск

Владимир КОРЕНЬКОВ,
директор ЛИТ ОИЯИ

Статус и перспективы развития компьютинга в ЛИТ ОИЯИ

19 августа 1966 года в составе Объединенного института ядерных исследований была образована Лаборатория вычислительной техники и автоматизации. История нашей лаборатории содержит много славных страниц и традиций, некоторые из них отражены в сборнике воспоминаний сотрудников, выпущенном к юбилею.

Все эти годы основная деятельность коллектива лаборатории была нацелена на сотрудничество с физиками, на математическую и вычислительную поддержу их исследований. Важную роль сыграло сотрудничество ОИЯИ с Европейским центром ядерных исследований (ЦЕРН) в области программирования и обработки данных, начатое в середине 60-х годов. Основная заслуга здесь принадлежит Н.Н.Говоруну, который сделал важный шаг, приняв ФОРТРАН в качестве языка обмена алгоритмами между физиками и математиками, расширив его применения для программирования научно-технических задач. По-существу с именем Н.Н.Говоруна связана "фортранизация" прикладного программирования вычислительных задач в России.

Первая высокопроизводительная ЭВМ БЭСМ-6. Руководитель работ Н.Н.Говорун со своими коллегами:
В.В.Федорин, И.Н.Силин, С.А.Щелев, В.П.Шириков, И.А.Емелин.

Хочется отметить и такой этап из истории лаборатории, как автоматизация обработки камерных снимков в 60-70-е годы, который сыграл большую роль в изучении взаимодействий ускоренных частиц с веществом с помощью пузырьковых и других оптических трековых камер. Работы в этом направлении были начаты в ЛВЭ и ЛЯП еще в самом начале становления ОИЯИ, и объединение усилий в этом направлении на базе вычислительной техники послужило основанием для создания ЛВТА. Работы по автоматизации обработки камерных снимков в ЛВТА велись одновременно по нескольким направлениям, главным образом в отделе автоматизации под руководством Ю.А.Каржавина.

Одно из направлений работ ЛВТА по автоматизации процесса измерения камерных снимков было связано с созданием автомата HPD, сканирующего фотоснимок "бегущим лучом". В создании сложных программ для фильтрации данных сканирования этого автомата принимали участие сотрудники отдела математической обработки экспериментальных данных, которым руководил Н.Н.Говорун. Производительность сканирующего устройства HPD составляла около 200 тыс. событий в год.

Н.Н.Говорун и В.И.Мороз знакомят иностранных гостей с просмотрово-измерительной техникой.

По другому пути пошли разработчики прибора со спиральной разверткой - "Спиральный измеритель". Программное обеспечение "Спирального измерителя" разработано в ЛВТА с участием математиков. Изготовлена серия из 10 приборов типа "Спиральный измеритель" для ряда институтов стран-участниц ОИЯИ.

Третье направление разработок ЛВТА по автоматизации процесса обработки камерных снимков, которым руководил В.Н.Шкунденков, было основано на использовании электронно-лучевой трубки для формирования бегущего по снимку светового луча. В принципе такое устройство является наиболее универсальным прибором для сканирования снимков с различной информацией, так как положение и передвижение светового луча по снимку полностью управляется вычислительной машиной. Автоматы, работающие по такому принципу (АЭЛТ-1 и АЭЛТ-2), в ОИЯИ использовались для обработки фотографий, получаемых с искровых камер.

Все эти разработки велись в тесном и плодотворном сотрудничестве со многими институтами стран-участниц ОИЯИ и других государств, в частности, с сотрудниками отдела обработки данных (DD-division) ЦЕРН.

1976 год. Сканирующий автомат АЭЛТ. Н.В.Барашенкова.

Появление более мощных ЭВМ и трансляторов с языков программирования высокого уровня, в первую очередь ФОРТРАН, позволило перейти к разработке универсальных программ. Так появилась разработанная в ЦЕРН цепочка программ THRESH-GRIND-AUTOGR-SLICE-SUMX, предназначенная для анализа данных с жидководородных пузырьковых камер. Первый вариант этой системы силами сотрудников ОИЯИ и ИФВЭ АН ГДР был адаптирован на ЭВМ CDC-1604A и в течение ряда лет использовался для обсчета данных с метровой водородной пузырьковой камеры ОИЯИ. Затем на ЭВМ БЭСМ-6 в ОИЯИ и ИФВЭ АН ГДР были поставлены новые версии этих программ, которые позволяли учитывать неоднородность магнитного поля, потери энергии заряженных частиц, находить изображения одних и тех же треков события на стереоснимках.

Следующий этап развития математического обеспечения камерных экспериментов был связан с внедрением в практику программирования модульных принципов организации программ с динамически распределяемой памятью. Первым шагом на пути решения этой задачи явилось создание в ЦЕРН геометрической программы для больших пузырьковых камер (LBCG), которая затем была развита в систему ГИДРА. Эта система затем была внедрена на ЭВМ ОИЯИ и стран-участниц ОИЯИ CDC-6500, БЭСМ-6, ЕС-1040, ИБМ-370/135 и постепенно заменила устаревшие программы обработки фильмовой информации.

Современные крупные физические эксперименты на больших ускорителях были бы невозможны без использования ЭВМ для управления и мониторинга всей аппаратуры, сбора данных и предварительной, в реальном времени, обработки и фильтрации данных.

Развитие методов применения ЭВМ на линии с физическими установками в ОИЯИ началось с появлением первой пригодной для этих задач машины. Активное участие в становлении этих методов в ОИЯИ, наряду с коллегами из физических лабораторий, приняли сотрудники ЛВТА. Первые работы в этом направлении были связаны с экспериментами по p-р-рассеянию на синхрофазотроне ОИЯИ, в которых использовались магнитострикционные камеры на линии с ЭВМ БЭСМ-3М.

Следующий важный этап развития работ в этой области связан с проведением, начиная с 1968 года, первых экспериментов в ИФВЭ (Серпухов) на ускорителе У-70. Сотрудники ЛВТА внесли существенный вклад в разработку алгоритмов и программного обеспечения бесфильмового спектрометра с искровыми камерами (установка БИС - бесфильмовый многотрековый искровой спектрометр) для экспериментов по генерации нейтральных каонов.

Со второй половины 70-х годов в крупномасштабных экспериментах ОИЯИ в качестве базовой управляющей ЭВМ стала использоваться ЭВМ ЕС-1040. Первая система реального времени на ее базе была разработана для экспериментов по поиску очарованных частиц на ускорителе У-70. Комплекс программ для этого эксперимента включал в себя специально разработанное базовое математическое обеспечение как относительно самостоятельный программный продукт, ориентированный на широкий класс физических задач. Благодаря такому подходу в сжатые сроки затем было создано математическое обеспечение экспериментов на установке "Кристалл", проведенных в сотрудничестве с рядом других институтов.

Проведение совместного ОИЯИ-ЦЕРН мюонного эксперимента в 80-х годах позволило объединить усилия специалистов этих международных центров для разработки математического обеспечения электронных экспериментов. В этом сотрудничестве были созданы проблемно-ориентированные пакеты программ, применяемые практически во всех физических центрах мира. Примером может служить HBOOK - пакет программ для статистической обработки результатов эксперимента и динамической настройки программ и для организации диалогового режима.

В шестидесятых годах успешно применялась система приема, накопления и обработки данных в реальном масштабе времени, созданная совместно сотрудниками ЛВТА и ЛНФ на базе измерительного центра ЛНФ и вычислительных машин "Минск-2" и М-20, установленных в ЛВТА. С 1969 года эксплуатировалась и развивалась аналогичная система, выполненная на основе ЭВМ БЭСМ-4 и измерительного центра ЛНФ. Дальнейшее развитие этой системы заключалось в объединении измерительно-вычислительных центров ЛНФ, ЛЯР и ЛЯП с измерительно-вычислительным комплексом ЛВТА в единую трехуровневую систему.

На первом, нижнем уровне располагали измерительные модули, в состав которых входили измерительное оборудование и малая ЭВМ с проблемно-ориентированным математическим обеспечением. На втором - располагалась ЭВМ более высокого класса с развитым математическим обеспечением для хранения, сортировки и предварительной обработки экспериментальных данных. На третьем уровне - машины высокого класса вычислительного комплекса ЛВТА, оснащенные обширной библиотекой программ обработки спектров.

Такая иерархическая трехуровневая архитектура и в настоящее время широко используется при построении систем управления крупными физическими экспериментами, а также ускорителями под названием "стандартной архитектуры". Однако современные системы отличаются от своих предшественников широким применением современных стандартных средств информационных технологий: модульных систем электроники, компьютерных сетей, стандартных шин и т.д.

Безусловно важнейшая роль во всех вышеперечисленных работах принадлежит вычислительной физике, которая как научное направление оформилась в ОИЯИ к началу девяностых годов. Основную задачу этого направления в настоящее время можно сформулировать как алгоритмическая и программная поддержка теоретических и экспериментальных исследований, проводимых в Институте, на основе эффективного использования современных вычислительных систем.

Ранее работы по математическому обеспечению физических исследований велись в лаборатории в двух практически независимых направлениях. Первое - вычислительная математика, возглавляемое профессором Е.П.Жидковым, включало разработку и развитие методов численного решения задач математической физики, возникающих в физических приложениях, и их программную реализацию, а также выполнение больших расчетов. Сюда же относилась разработка методов и комплексов программ статистического моделирования физических процессов.

1966 год. Р.Денчев, Е.П.Жидков.

Второе направление - математическая обработка экспериментальных данных, которым руководил член-корреспондент АН СССР Н.Н.Говорун, обеспечивало практически все эксперименты, проводимые в Институте, путем разработки и сопровождения больших систем моделирования и обработки экспериментальной информации. Исторически в рамках этого направления возникла и развивалась компьютерная алгебра, включающая сопровождение ряда пакетов, а также разработку прикладных алгоритмов.

В рамках вычислительной математики был получен ряд значительных результатов, относящихся как к разработке численных методов и программного обеспечения, так и их приложениям к важным задачам физики. Отмечу лишь некоторые из них. В шестидесятые годы был разработан метод минимизации квадратичных функционалов и пакет FUMILI, получивший широкое распространение и вошедший в системы обработки экспериментальных данных. В настоящее время профессор И.Н.Силин решил более сложную задачу минимизации с нелинейными ограничениями на параметры.

Под руководством профессора В.С.Барашенкова в течение ряда десятилетий развивался программный комплекс КАСКАД для моделирования методом статистических испытаний прохождения частиц и ядер в широком спектре энергий через среды сложного состава.

Широкую известность получили работы группы, возглавляемой профессором Е.П.Жидковым, по созданию методов численного решения задач магнитостатики и их приложений к расчетам магнитных полей для конкретных физических установок.

Наконец, нельзя не отметить цикл работ, посвященных численному решению квантово-механической задачи трех тел и приложению к проблеме мюонного катализа, в котором участвовали сотрудники лаборатории профессор И.В.Пузынин, доктор физико-математических наук Т.П.Пузынина и другие сотрудники. Основным подходом для разработки алгоритмов численного исследования переходных и критических процессов в математических моделях сложных систем является обобщенный непрерывный аналог метода Ньютона (НАМН). Этот подход интенсивно развивается в лаборатории в течение уже сорока лет. За это время усилиями группы сотрудников ОИЯИ под руководством профессора И.В.Пузынина метод превратился в мощный инструмент построения эффективных вычислительных схем для решения разнообразных нелинейных задач, возникающих в физике. Сейчас можно с уверенностью сказать, что разработан качественно новый, по сравнению с первоначальным вариантом НАМН, подход к созданию алгоритмов для численного анализа сложных многопараметрических нелинейных моделей физики.

Т.П.Пузынина, И.В.Пузынин, В.В.Коробов, Т.А.Стриж, В.С.Мележик.

Развитие методов, алгоритмов и пакетов программ компьютерной алгебры ведется в двух направлениях. Во-первых, это обеспечение сопровождения и развития таких пакетов компьютерной алгебры, как Maple, Mathematica, Reduce, Form; обеспечение пользователей информацией о символьных методах, алгоритмах и программном обеспечении. Во-вторых, разработки прикладных алгоритмов, связанных с символьным решением систем алгебраических и дифференциальных уравнений. Здесь чрезвычайно важны методы построения инволютивных базисов для приведения систем к соответствующему каноническому виду. В последние годы в рамках этого направления под руководством профессора В.П.Гердта получили развитие исследования в области квантовой информации и квантовых вычислений.

С момента создания ЛВТА прошло 50 лет, многое изменилось в области информационных технологий, существенно изменились задачи лаборатории, изменилось даже ее название. За это время обновилась аппаратная база компьютеров, активно внедряются сети передачи данных и интернет, распределенные и параллельные вычисления, базы данных и информационные системы, пакеты прикладных программ и интеллектуальные приложения. Бурное развитие информационных технологий выдвигает на первый план новые задачи. Одна из них заключалась в освоении и модернизации комплексов программ, ставших достоянием научного сообщества, внедрение новейших математических методов, отвечающих потребностям физических исследований, освоение новых гибридных вычислительных систем, позволяющих на порядки увеличить скорость некоторых вычислений.

Перспективы развития лаборатории мы связываем с проектом развития многофункционального информационно-вычислительного комплекса (МИВК) ОИЯИ. Сегодня ОИЯИ располагает сложной информационно-вычислительной инфраструктурой, непрерывное функционирование которой необходимо для успешной работы Института. Поддержка этой инфраструктуры в рабочем состоянии - одна из важнейших задач Лаборатории информационных технологий.

Дальнейшее развитие компьютерной инфраструктуры ОИЯИ призвано обеспечить выполнение целого спектра конкурентоспособных исследований, ведущихся в ОИЯИ и сотрудничающих с ним мировых центрах. Это и мегапроект NICA в Дубне, и приоритетные научные задачи, выполняемые в кооперации с ЦЕРН, FAIR, BNL и другими ведущими мировыми научно-исследовательскими центрами

На протяжении многих лет развитие информационно-вычислительной инфраструктуры ОИЯИ, созданной в ЛИТ, концентрировалось в рамках Центрального информационно-вычислительного комплекса (ЦИВК). В последние несколько лет в связи с работами по организации компьютинга для проекта NICA, вводом в эксплуатацию центра уровня Tier1 для эксперимента CMS, внедрением системы облачных вычислений и созданием кластера для гибридных вычислений информационно-вычислительная среда ОИЯИ эволюционировала в некоторый комплекс самостоятельных структур, имеющих единую инженерную инфраструктуру. Эту структуру можно определить как многофункциональный информационно-вычислительный комплекс ОИЯИ. В него входят ЦИВК ОИЯИ с вычислительным и интерактивным кластерами и системами массовой памяти; грид-центр уровня Tier2 для экспериментов на Большом адронном коллайдере и других виртуальных организаций, использующих распределенную грид-среду для вычислений; грид-центр уровня Tier1 для эксперимента CMS на LHC; гетерогенный кластер "HybriLIT" для параллельных вычислений; облачная инфраструктура и учебно-исследовательская инфраструктура.

Ресурсы грид-центров МИВК ОИЯИ являются частью глобальной инфраструктуры грид WLCG (Worldwide LHC Computing Grid), созданной для экспериментов на Большом адронном коллайдере.

Проект развития МИВК ОИЯИ направлен на создание технологической базы для проведения научных исследований в единой информационно-вычислительной среде, объединяющей множество различных технологических решений, концепций и методик. Подобная среда должна объединить суперкомпьютерные (гетерогенные), грид- и облачные комплексы и системы с целью предоставления оптимальных подходов для решения различных типов научных и прикладных задач. Необходимые требования к такой среде - масштабируемость, интероперабельность и адаптируемость к новым техническим решениям.

Единая среда является сложным программно-аппаратным комплексом, функционирующим в режиме "24х7" круглогодично, в котором используется большое разнообразие архитектур, платформ, операционных систем, сетевых протоколов и программных продуктов. Функциональные требования к вычислительному комплексу отличаются для разных экспериментов и групп пользователей - в силу различия моделей компьютинга, потребностей в ресурсах, специфики решаемых задач, специализации программного обеспечения и т.д.

В результате развития компьютинга был реализован переход на распределенную обработку и хранение экспериментальных данных на основе грид-технологий, а это необходимое условие участия физиков ОИЯИ и стран-участниц в экспериментах на LHC.

До 2015 года основным элементом грид-инфраструктуры ОИЯИ был центр уровня Tier2, один из крупнейших в России ресурсных центров в составе глобальной грид-инфраструктуры WLCG/EGEE/EGI, который обеспечивает поддержку виртуальных организаций международных проектов, в том числе и экспериментов на LHC. Наиболее впечатляющие результаты работы ЦИВК по проведению вычислений в рамках глобальной инфраструктуры распределенных вычислений были получены в проекте Worldwide LHC Computing Grid (WLCG) при обработке данных с экспериментов на LHC.

На семинаре 4 июля 2012 года, посвященном открытию бозона Хиггса на экспериментальных установках CMS и ATLAS, директор ЦЕРН Р.Хойер дал высокую оценку грид-технологиям и их значимости для мировой науки. Он выделил три составляющие, обеспечившие получение этого результата: ускорительный комплекс ЦЕРН, экспериментальные установки и грид-инфраструктуру LHC. Грид-инфраструктура на LHC позволила обрабатывать и хранить колоссальный объем данных, поступающих от экспериментов на коллайдере, и, следовательно, совершить это научное открытие. Свой вклад в этот результат внесен и грид-сайтом ОИЯИ, который на протяжении всех этих лет был лидирующим в России и входил в первую десятку грид-сайтов уровня Tier2 в мире.

В марте 2015 года запущена в эксплуатацию базовая компонента вычислительной инфраструктуры ОИЯИ - центр уровня Tier1 для эксперимента CMS. Он используется как часть глобальной системы обработки экспериментальных данных, поступающих из центра уровня Tier0 (ЦЕРН), а также центров уровней Tier1 и Tier2 глобальной грид-инфраструктуры эксперимента CMS. Создание центра уровня Tier1 для обработки данных эксперимента CMS в ОИЯИ обусловлено активной позицией и большим вкладом ОИЯИ и российских институтов в создание и модернизацию детекторных систем CMS, обработку и анализ данных.

Дальнейшее развитие и модернизация МИВК связаны с мегапроектом NICA. Эта задача нацелена на широкое использование базы МИВК для моделирования физических процессов в установках на NICA, разработки модели обработки и хранения данных, создания системы долговременного хранения экспериментальных и модельных данных. Опыт создания и эксплуатации установки Tier1 для CMS в ОИЯИ несомненно будет способствовать построению системы обработки и хранения данных для комплекса NICA. Решение научных задач, на которые нацелен мегапроект NICA, невозможно без новейших достижений и разработки новых методик в области компьютерных и телекоммуникационных технологий. Поскольку работы по проекту NICA ведутся и будут вестись в рамках широкого международного сотрудничества, необходимо не только хранить и обрабатывать экспериментальные данные в ОИЯИ, но и обеспечить доступ к ним всем организациям-участникам мегапроекта.

В настоящее время для решения подобной проблемы большое внимание уделяется развитию систем управления задачами (подготовка и анализ экспериментальных данных, моделирование и т.п.), имеющих масштабируемую и гибкую архитектуру, предоставляющую широкие возможности адаптации системы к изменяющимся вычислительным ресурсам, системам хранения и сетевым ресурсам. Это позволяет объединить в рамках одной вычислительной среды множество гетерогенных вычислительных систем различной аппаратно-программной архитектуры. Для этих целей на базе МИВК необходимо проведение научных исследований в области интенсивных операций с большими объемами данных в распределенных системах (Big Data).

Облачная компонента МИВК связана с переходом на современные принципы построения вычислительных центров. Применение облачных технологий повышает эффективность аппаратного обеспечения за счет виртуального разделения ресурсов. В настоящее время использование облака необходимо для выполнения обязательств ОИЯИ в различных научно-исследовательских проектах (NICA, ALICE, BESIII, NOvA, Daya Bay, JUNO и др.). По мере развития ресурсной базы облака ОИЯИ его вычислительные ресурсы и дисковое пространство системы хранения данных планируется предоставить как пользователям ОИЯИ, так и их коллегам из других научных центров, перед которыми ОИЯИ имеет соответствующие обязательства.

Обучение сотрудников из организаций стран-участниц ОИЯИ облачным технологиям позволит создавать в этих организациях облачные инфраструктуры с последующей их интеграцией в облако ОИЯИ и/или глобальные распределенные информационно-вычислительные инфраструктуры. На данный момент с облаком ОИЯИ интегрированы ресурсы Российского экономического университета имени Г.В.Плеханова, Института теоретической физики имени Н.Н.Боголюбова (Киев, Украина) и Института физики (Баку, Азербайджан), ведутся работы по интеграции с европейской облачной инфраструктурой EGI Federated Cloud.

Решение расширить МИВК ОИЯИ посредством добавления в его структуру гетерогенного вычислительного кластера, разработанного для высокопроизводительных вычислений в ОИЯИ и странах-участницах, отвечает современным направлениям в мировых вычислительных технологиях. Последнее десятилетие ознаменовалось внедрением в технологию высокопроизводительных вычислений многоядерных процессоров и процессоров с GPU ускорителями, а также специализированных модулей (серверы, лезвия), включающих такую структуру процессоров. Это позволило перейти от высокопроизводительных вычислительных кластеров к дешевым гетерогенным структурам. Необходимость высокопроизводительных вычислений в ОИЯИ связана с развитием следующих важных направлений: созданием собственного программного обеспечения для проведения исследований, требующих ресурсоемких расчетов; использованием адаптированных для гибридных архитектур пакетов программ и математических библиотек; разработкой параллельных алгоритмов решения различных задач с использованием парадигмы гетерогенных вычислений.

Гетерогенный вычислительный кластер может служить удобной платформой для разработки параллельных алгоритмов в задачах обработки экспериментальных данных в физике высоких энергий, в частности, для мега-проекта NICA.

Одна из важнейших составляющих МИВК как многофункциональной установки, предоставляющей доступ к ресурсам и возможность работы с большими данными, - это сетевая инфраструктура, которая увеличивает пропускную способность до 100 Гбит/с и более.

Научные направления МИВК определяются спектром исследований, ведущихся на мировом уровне в ОИЯИ и сотрудничающих с ним научных центрах, и связаны с работами, необходимыми для надежного и оптимального использования ресурсов МИВК. К таким задачам относятся исследования в области: интенсивных операций с большими объемами данных в распределенных системах); интеграции базовых, облачных и грид-технологий с целью их оптимального использования в рамках многофункционального центра; оптимизации использования суперкомпьютеров для обработки данных; интеграции разнородных вычислительных ресурсов и источников данных в единую распределенную вычислительную систему; глобального мониторинга распределенных вычислительных систем; новых информационных технологий для обеспечения образовательного процесса и процессов управления.

Проект развития МИВК призван обеспечить широкий спектр возможностей для пользователей: создание для основных базовых установок ОИЯИ (NICA, ИБР-2, DRIBs и другие) распределенных систем хранения, обработки и анализа информации (с использованием удаленных центров управления и анализа, виртуальных лабораторий, облачных вычислений, информационных порталов) для эффективного участия институтов стран-участниц и других центров в реализации этих проектов; полноценное и эффективное участие в обработке и анализе экспериментальных данных на крупнейших ускорителях мира (LHC, FAIR, RHIC); развитие новых подходов и алгоритмов решения задач на суперкомпьютерах, в том числе с гибридной архитектурой; развитие методики адаптации приложений для работы в распределенной среде; развитие многопрофильной инструментально-технологической платформы для предоставления доступа к распределенным вычислительным ресурсам, прикладным пакетам и композитным приложениям в рамках моделей IaaS, SaaS и AaaS; развитие системы подготовки и переподготовки IT-специалистов на базе учебно-исследовательской облачной грид-инфраструктуры и гетерогенного кластера.

Работы по проекту будут проводиться в тесном сотрудничестве с лабораториями ОИЯИ, институтами и организациями стран-участниц ОИЯИ и крупных международных центров, с которыми ОИЯИ имеет соглашения о сотрудничестве. Этот проект нацелен в будущее и способствует дальнейшему развитию нашей лаборатории.

Материалы спецвыпуска подготовила Ольга ТАРАНТИНА,
фото Юрия ТУМАНОВА и из архива ЛИТ