Спецвыпуск "Молодежь и наука"

Необъятный мир информационных технологий

"Именно производительность средств обработки экспериментальной информации будет, в конечном счете, определять "производительность" физических исследований". Это цитата из "Перспективного плана развития вычислительной техники и средств автоматизации в ОИЯИ", который был составлен в августе 1966 года. С тех пор прошло полвека, а смысл высказывания не менее актуален. Сложно представить современное научное открытие, сделанное без элементарных средств обработки информации. А для многих достижений человечества именно информационные технологии стали одним из ключевых факторов успеха. И несмотря на то что персональный компьютер сегодня во много раз производительнее самого быстрого суперкомпьютера двадцатилетней давности, люди продолжают разрабатывать и строить еще более мощные, масштабные и сложные компьютеры, чтобы решать задачи завтрашнего дня. Студенты, аспиранты и молодые сотрудники имеют хорошие шансы внести свой вклад и стать составной частью коллектива. В этом обзоре молодые сотрудники ЛИТ расскажут о некоторых актуальных проектах, в которых они участвуют.

МИВК и его задачи

Развитие распределенной высокопроизводительной вычислительной инфраструктуры Института и ресурсов хранения данных сосредоточено вокруг Многофункционального информационно-вычислительного комплекса (МИВК), который является ядром данной инфраструктуры.

Помимо собственно аппаратно-программного комплекса, наш вычислительный комплекс должен обеспечивать внешние условия для его функционирования. Оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения. Ключевыми для МИВК являются сетевая и инженерная инфраструктуры.

Для обеспечения участия Института в крупных международных проектах, проводимых учеными как на базовых установках ОИЯИ, так и в сотрудничающих странах, в частности для мегапроекта NICA и проекта WLCG (Worldwide LHC Computing Grid), активно развивается сетевая инфраструктура. Пропускная способность основного канала связи ОИЯИ-Москва расширена до 100 Гб/с, создан резервный канал связи (2x10 Гб/с); организованы выделенные линии передачи данных, связывающие вычислительные центры организаций в рамках проектов, модернизирована локальная сеть ОИЯИ. Для функционирования системы хранения и обработки данных по проекту NICA между площадками Института создан канал связи 4x100 Гб/с с двойным резервированием для повышения надежности оптической транспортной магистрали.

Инженерной инфраструктуре, от качества которой зависит надежность работы комплекса, отведена вспомогательная роль по обеспечению климатических условий, бесперебойного электроснабжения и удобства эксплуатации оборудования МИВК с соблюдением действующих норм и правил. Обеспечить оптимальный климатический режим для работы оборудования - сложная задача. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. Для того чтобы ограничить смешение холодного воздуха, подаваемого из-под фальшпола, с нагретым воздухом, в МИВК были организованы специальные зоны. В одних осуществляется подача холодного воздуха к шкафам с оборудованием, так называемые "холодные коридоры". В другие поступает горячий воздух, уже отведенный от оборудования, - "горячие коридоры".

Помимо этого, в МИВК установлены новые универсальные вычислительные шкафы с рекордной энергетической плотностью и системой прецизионного жидкостного охлаждения, сбалансированной для постоянной работы с высокотемпературным хладоносителем (до +63°С на входе в вычислительный шкаф).

Работа в режиме "горячая вода" для данного решения позволила применить круглогодичный режим free cooling (естественное охлаждение), используя только сухие градирни - устройства, охлаждающие жидкость при помощи окружающего воздуха в любое время года. Тем самым удалось избавиться от охлаждающего фреонового контура и чиллеров (холодильных установок). В результате достигнуты рекордные показатели энергоэффективности: на охлаждение суперкомпьютера ГОВОРУН расходуется менее 6 процентов потребляемой им электроэнергии.

Система охлаждения имеет плавную регулировку производительности, можно увеличивать или уменьшать мощность системы в соответствии с реальной загрузкой. Это позволяет значительно снизить потребление электроэнергии при частичной загрузке.

Таким образом сейчас в ЛИТ создан мощный инструмент для решения комплексных вычислительных задач в области физики, задач хранения и обработки информации. В настоящее время МИВК ОИЯИ включает четыре ключевых компоненты: грид-инфраструктуру, центральный вычислительный комплекс, облачную инфраструктуру и гетерогенную платформу HybriLIT, в состав которой входит суперкомпьютер ГОВОРУН, обеспечивающий выполнение целого спектра конкурентоспособных исследований, ведущихся на мировом уровне в ОИЯИ.

Алексей Воронцов

Грид-технологии

В середине 90-х годов было принято решение построить Большой адронный коллайдер и организовать на нем четыре эксперимента: ATLAS, CMS, ALICE и LHCb. Помимо обнаружения новой физики за границей Стандартной модели, создаваемый ускоритель должен был экспериментально подтвердить существование бозона Хиггса, последнего недостающего элемента. Из теоретических выкладок следовало - для доказательства существования новой частицы потребуется обработать беспрецедентные объемы данных. Возник вопрос: каким образом собирать, хранить и обрабатывать такие большие объемы данных? Ранее, при проектировании большого эксперимента в физике частиц, создавался вычислительный центр, который должен был решать все задачи компьютинга. Однако в случае с БАК стоимость вычислительной инфраструктуры превзошла бы стоимость физических установок.

Революционным решением стало создание глобальной распределенной вычислительной сети грид. Этот подход позволил использовать вычислительные ресурсы научных организаций, расположенных по всему миру. Поддержка грид-сайта также стала новой и важной формой вклада организаций в эксперименты.

С самых первых дней ЛИТ, как часть ОИЯИ, активно участвует в развитии глобальной грид-инфраструктуры. Работы шли по нескольким направлениям: разработка и тестирование ПО, разработка систем мониторинга, создание грид-сайта уровня Tier2 в ЛИТ, развитие грид-инфраструктур в странах-участницах ОИЯИ. В 2013 году в составе МИВК появился новый компонент - Tier1-сайт для эксперимента CMS. На сегодняшний день этот центр является первым по количеству выполненных задач CMS среди Tier1-сайтов на всем Евразийском континенте. Это стало возможным благодаря слаженной и эффективной работе всех служб МИВК.

Следующим вызовом для компьютинга станет увеличение светимости с переходом к High Luminosity LHC в 2026 году, когда данные физического эксперимента возрастут на порядок. Сотрудники ЛИТ активно участвуют в разработке подхода к хранению данных, который называется Data Lakes.

Игорь Пелеванюк

Облачная инфраструктура

Термин "облако" чаще всего используется как метафора, основанная на изображении Интернета как образа сложной инфраструктуры, за которой скрываются все технические детали, хотя в наше время это удобная среда для хранения и обработки информации.

Облако в ОИЯИ появилось, в частности, благодаря развитию грид-технологий. В Институте была создана учебная грид-инфраструктура. Проводя обучение студентов, научные сотрудники столкнулись с проблемой выделения ресурсов: сложно выделять каждому по серверу. И тогда было принято решение применить виртуализацию, которая бы позволила эффективно использовать имеющееся физическое оборудование. Первоначально учебная инфраструктура была реализована на OpenVZ-контейнерах. Их надо было вручную распределять по физическим серверам, а при смене параметров контейнера приходилось перераспределять контейнеры по серверам. Набор сервисов в учебной инфраструктуре активно разрастался, и появилась необходимость управлять всей инфраструктурой из единого интерфейса. Облачные технологии стали идеальным решением, и 1 ноября 2013 была создана первая виртуальная машина (ВМ) в облаке.

В настоящее время облачная инфраструктура включает в себя полигоны на базе промежуточного программного обеспечения EMI, DIRAC, Hadoop; системы хранения данных EOS; вычислительные ресурсы для таких экспериментов, как NOvA, NICA, JUNO, Daya Bay, Baikal-GVD, BES-III; сервисы PanDA для эксперимента COMPASS, для управления данными программы Комиссии ООН по воздуху Европы ICP Vegetation (moss.jinr.ru), GitLab, Helpdesk, веб-сервис HepWep для моделирования методом Монте-Карло в области физики высоких энергий; контейнеры для разработки веб-сайтов, веб-сайт ОМУС (omus.jinr.ru), тестовые экземпляры сервера документов ОИЯИ JDS и сервиса управления проектами, контейнеры для оценки систем мониторинга и разработки системы мониторинга для Tier1 ОИЯИ, набор ВМ/контейнеров пользователей.

Облачной командой разрабатываются дополнительные сервисы: интеллектуальный планировщик облачных ресурсов, способствующий повышению эффективности использования ресурсов за счет динамического перераспределения ВМ на физическом оборудовании; сервис с веб-интерфейсом (http://saas.jinr.ru), позволяющий отправлять на расчеты задачи моделирования длинных джозефсоновских переходов. От пользователя этого сервиса требуется всего лишь задать значения параметров задачи и указать адрес для загрузки результатов в веб-интерфейсе. В дальнейшем планируется расширение сервиса для других задач.

Молодыми учеными создан сервис облачного хранилища disk@jinr, который обладает основными функциями современных облачных хранилищ (хранение файлов, синхронизация, календарь, планировщик задач, адресная книга, потоковое мультимедиа, распространение контента между группами расшариванием или используя публичные URL, механизм сокращения URL, фотогалерея, средство просмотра PDF).

Важным и актуальным этапом развития облачной инфраструктуры является объединение вычислительных мощностей организаций стран-участниц Института в распределенную информационно-вычислительную среду (РИВС). Облака некоторых научных организаций Казахстана, Белоруссии, Армении, Азербайджана, России, Грузии интегрированы в распределенную информационно-вычислительную среду ОИЯИ на основе платформы DIRAC. Продолжается тестирование и отладка работы интегрированной инфраструктуры, а также ведутся работы по созданию образов ВМ для обеспечения возможности запуска на всех облаках распределенной инфраструктуры задач с программным обеспечением таких экспериментов, как MPD и JUNO. Находятся в процессе технической интеграции облака организаций Болгарии, Грузии и Узбекистана. В ближайшем будущем планируется предоставление ученым из организаций стран-участниц доступа к вычислительным ресурсам суперкомпьютера ГОВОРУН. Интеграция аппаратных ресурсов суперкомпьютера и облачных инфраструктур стран-участниц позволит существенно увеличить общую вычислительную емкость всей РИВС.

Елена Мажитова

Big Data

В последние годы на слуху выражение "Большие данные". Существует много различных подходов к определению этого понятия. Минимальный общепринятый набор характеристик называется "Три V" - Volume, Velocity, Variety (объем данных, скорость прироста данных и необходимость их быстрой обработки, возможность одновременно обрабатывать данные различного типа и структуры).

С точки зрения информационных технологий, крупные физические эксперименты - это фабрики по производству и обработке огромных объемов информации. Данные экспериментов на БАК, сравнимые по сложности и объему с данными таких корпораций, как Facebook и Google, по праву можно считать большими. При этом как глобальный грид, так и построенные на его основе системы обработки и анализа данных экспериментов, являются источником Больших данных: в системе ежесекундно происходят десятки тысяч событий, касающихся как вычислительных задач, так и управления физическими данными. И для эффективного управления подобными глобальными системами крайне необходима обработка информации о происходящих в них процессах, и здесь уже не обойтись без применения технологий Больших данных.

Сотрудники ЛИТ участвуют в создании системы мониторинга как общей глобальной инфраструктуры обработки данных БАК, так и систем обработки данных экспериментов. Здесь можно отметить работы по созданию системы UMA (унифицированная архитектура мониторинга) в ЦЕРН, а также средств для анализа характера доступа к данным эксперимента ATLAS для развития стратегий управления этими данными. Полученный опыт в аналитике Больших данных был успешно перенесен и в другие предметные области, в частности для создания системы мониторинга российского рынка труда.

Сергей Белов

Гетерогенная платформа HybriLIT

В последнее десятилетие задачи теоретических и экспериментальных исследований в области ядерной физики, физики конденсированных сред, математического моделирования достигли таких масштабов, что мощностей персонального компьютера уже не хватает. Расчеты одной такой задачи могут занимать дни, недели и даже месяцы. Для ускорения расчетов в крупных научно-исследовательских центрах создаются гетерогенные вычислительные кластеры. В структуру таких кластеров, наравне с классическими многоядерными процессорами, входят так называемые "сопроцессоры вычислений", расширяющие возможности центрального процессора.

Следуя этим тенденциям, в 2014 году в ЛИТ был запущен гетерогенный кластер HybriLIT. Гетерогенная структура вычислительных узлов кластера позволила существенно ускорить расчеты путем выбора оптимальной технологии распараллеливания, учитывающей как специфику решаемой задачи, так и особенности сопроцессоров вычислений - графических процессоров NVIDIA и сопроцессоров Intel Xeon Phi.

HybriLIT используется в том числе и как базовая платформа для обучения ИТ-специалистов по различным направлениям; проводятся регулярные учебные курсы по C/C++, MPI, OpenMP, CUDA, OpenCL, гибридным технологиям MPI+ OpenMP, MPI+CUDA, а также мастер-классы по применению специализированного программного обеспечения для решения задач в области физики высоких энергий, такого как ROOT, PROOF.

В марте 2018 года в ЛИТ ОИЯИ состоялась презентация суперкомпьютера ГОВОРУН, который стал естественным развитием гетерогенного кластера HybriLIT и вошел в состав гетерогенной платформы HybriLIT. Суперкомпьютер используется для решения задач, требующих массивно-параллельных расчетов в различных областях ядерной физики и физики высоких энергий. На текущий момент пиковая производительность суперкомпьютера составляет 1 PFlops для операций с одинарной точностью и 500 TFlops с двойной. (Флопс - единица для измерения производительности компьютера, показывающая, сколько операций с плавающей запятой в секунду выполняет данная вычислительная система - прим. ред.)

Вычислительные ресурсы суперкомпьютера позволяют сотрудникам ОИЯИ и научным центрам стран-участниц разрабатывать программное обеспечение и проводить ресурсоемкие расчеты с использованием новых типов архитектур.

Максим Зуев,
Шушаник Торосян

Квантовый компьютинг

В первой половине прошлого века квантовая физика только зарождалась, поэтому ее необычные свойства (такие как невозможность одновременного измерения физических величин с высокой точностью - принцип неопределенности) вызывали сомнения в полноте описания микромира квантовой механикой. Попытки анализа свойств запутанных состояний и осмысления нелокальности в квантовом мире породили множество парадоксов (парадокс Эйнштейна-Подольского-Розена, парадокс кота Шрёдингера).

В конце ХХ века c развитием техники эксперимента управление квантовой когерентностью стало реальным и возник вопрос практического применения квантовой нелокальности. Запутанные состояния стали важным объектом новых прикладных дисциплин, таких как квантовая криптография, квантовая теория информации, физика квантовых вычислений, квантовый компьютинг и прочее.

В ЛИТ в группе алгебраических и квантовых вычислений проводятся математические исследования свойств запутанных состояний, а также разработка и реализация квантовых алгоритмов. Так, одним из последних исследований является изучение запутанных состояний посредством анализа свойств отрицательности функции Вигнера. Также на 5-кубитных квантовых чипах фирмы IBM, доступных через облачную платформу IBM Quantum Experience, были реализованы некоторые известные алгоритмы: Гровера, Дойча, Бернштейна-Вазирани.

"Природа является квантовой, черт возьми! Если мы хотим симулировать ее, нам понадобится квантовый компьютер". Эта идея Ричарда Фейнмана несколько десятилетий назад считалась фантастикой. Однако сегодня такой компьютер уже существует, что открывает большие возможности в задачах оптимизации различных процессов, шифрования данных и компьютерной безопасности, искусственного интеллекта и машинного обучения, квантовой химии, квантовой динамики, защиты информации, поиска в неотсортированных базах данных и многих других.

Астгик Торосян

Корпоративные информационные системы

Основной целью корпоративной информационной системы для научной организации является автоматизация и интеграция всех видов деятельности в единую информационную среду для успешного выполнения миссии - достижения научных результатов - за счет упрощения доступа к ресурсам и более эффективного управления ими. Типичная структура корпоративной информационной системы включает в себя систему управления финансами, информационными ресурсами, систему электронного документооборота, материалами, отражающими научно-исследовательскую деятельность ОИЯИ, систему управления персоналом и т.д.

На данный момент поддерживаются и развиваются следующие составляющие корпоративной информационной системы ОИЯИ:

• "1С: Управление производственным предприятием" - платформа, предназначенная для автоматизации повседневных задач хозяйственной и управленческой деятельности;
• система APT EVM (инструмент управления стоимостью освоенного производства) для NICA и управления будущими проектами;
• система электронного документооборота СЭД "Дубна";
• комплекс информационно-аналитических систем для финансового и кадрового управления (ADB2, ISS и др.);
• сервер документов ОИЯИ (JDS) - электронный открытый архив-хранилище научных публикаций и документов;
• PIN - личная информация о сотрудниках ОИЯИ;
• WEB-порталы.

В рамках работ над единой информационной средой был организован доступ стран-участниц ОИЯИ к электронной библиотеке, а также реализована и запущена в эксплуатацию аутентификация пользователей через единую систему аутентификации SSO ОИЯИ.

Татьяна Заикина

От авторов

Одной статьи недостаточно, чтобы дать полное представление обо всех аспектах нашей деятельности. Мы, опустив подробности, попробовали сделать простой, обобщенный и интересный обзор того, с чем работаем и за что отвечаем. Эта статья является, по сути, введением в более детальные и сложные для объяснения темы. Мы не могли поступить иначе, потому что ничто из того, о чем мы рассказали, не существует в вакууме, все связано между собой.

Наша работа крайне интересна. Участие в перечисленных проектах позволяет работать в тесном сотрудничестве с ведущими специалистами, перенимая их многолетний опыт, участвовать в международных конференциях, общаться с коллегами из разных стран, иногда спорить, но чаще приходить к общему мнению, делиться своими достижениями и вдохновляться результатами других. Это способствует нашему профессиональному росту. С благодарностью хочется отметить всевозможную поддержку перспективных направлений дирекциями Института и лаборатории, в том числе молодежные гранты ОИЯИ и стипендии имени М.Г.Мещерякова и Н.Н.Говоруна.