Они были первыми

ЛИТ готова к любым вызовам

Начало в № 46 от 7.12.2023

В 1980-1990-е годы появилось много процессоров на платформе Unix. ЦЕРН, DESY и другие ядерно-физические центры оснащались процессорами Sun, HP, DEC, IBM, SGI и другими. В ЦЕРН работали 7-8 групп, которые для каждой платформы адаптировали библиотеку CERNLIB. А мы адаптировали церновские программы на Windows и Linux, которые были установлены на наших персональных компьютерах. Это была наша самодеятельность. В какой-то момент я поехал в ЦЕРН и предложил подписать соглашение, чтобы мы это делали официально. А они удивились: зачем это нужно? Кому нужен персональный компьютер как инструмент для анализа научных данных? Тем не менее они согласились каждые три месяца передавать нам новую версию CERNLIB, чтобы мы ее адаптировали и выкладывали в свободное использование. Эти две платформы входят в церновскую библиотеку, но все вопросы и консультации по использованию - к нам. Мы занимались этим несколько лет, но жизнь показала, что через 10 лет все платформы, поддерживаемые в ЦЕРН, стали уходить в историю, а платформы Windows и Linux стали основными в ЦЕРН, и они нам сказали: "Спасибо! Дальше мы сами". Можно сказать, что церновское ПО и вообще культура работы в Linux были чисто нашим деянием. Мы занимались этим на свой страх и риск, но уже 25 лет это ПО главное не только в ЦЕРН, но и в мировой физике высоких энергий, и вообще в науке.

В конце 1990-х уровень коммуникаций вырос, скорости стали гигабитными. В это время начали думать о модели компьютинга для Большого адронного коллайдера, запустить который планировали в 2005 году. Считалось, что ПО для БАК невозможно создавать так же, как оно создавалось раньше, - физиками, математиками, то есть непрофессионалами. Нужно брать лучшее ПО крупных профессиональных компаний и опираться на него. Рене Бран, так же, как и Н.Н.Говорун в свое время, выступил против всех. Он сказал, что никакие крупные компании не будут делать ПО для БАК, они живут за счет тиражируемости своей продукции. В ЦЕРН отказались от услуг Рене, и он с небольшой командой, в составе которой был и наш сотрудник, разработал пакет ROOT, который стал основным для БАК и для всей физики высоких энергий. Его снова пригласили работать в ЦЕРН, но до этого пять лет в Европейском центре безуспешно пытались интегрировать разное приобретенное профессиональное ПО. У них ничего не получилось.

Появились грид-технологии. Яном Фостером и Карлом Кессельманом в Аргонской национальной лаборатории был создан первый пакет Globus Toolkit, позволяющий объединять ресурсы географически распределенных кластеров в единую среду для того, чтобы вместе решать общие задачи. Было принято решение, что грид-технологии станут основной концепцией компьютинга на БАК, и этим начали заниматься и Дубна, и российские центры, во главе с ЦЕРН. А дальше было много европейских проектов, в которых участвовали и мы, и США, - таким образом, была создана географически распределенная компьютерная инфраструктура, в которой мы до сих пор активно работаем. В 2003 году в ЛИТ создан центр уровня Tier2, он стал очень важным элементом компьютинга на БАК, через 10 лет было принято решение о создании центра Tier1 на базе НИЦ "Курчатовский институт" и ОИЯИ. Это тоже знаменательное событие - создание двух мощных центров в ОИЯИ, в России не просто для обработки, но и для участия в хранении данных со стопроцентной надежностью. Мы отвечаем за очень большой раздел физики на БАК, потому что практически все данные с эксперимента CMS идут к нам на хранение, больше 100 центров скачивают эти данные для обработки и анализа, у нас хранятся и результаты моделирования. Наш Tier1 уже слуга не двух, а четырех господ. Мы выполняем четыре асинхронные задачи: все, что нам дают из ЦЕРН, мы должны получить и сохранить; обеспечить данными все центры, которые их запрашивают, и наш Tier2 тоже; сохранить результаты моделирования; обеспечить обработку задач на Tier1 в режиме 24х7х365. Выполнение этих задач очень важно, а мы обрели культуру работы на всех уровнях. Поэтому, когда начали реализовывать наш большой проект NICA, мы уже более-менее понимали, что будем делать. Без этого опыта, я думаю, мы не знали бы, как организовать все стадии: сбор данных, хранение, обработку, анализ.

Комната мониторинга

Сейчас используются наработки, которые были сделаны на БАК, а там очень много было сделано с нашим участием, особенно в области мониторинга. Наша команда участвовала в проектах по развитию мониторинга передачи данных, управления сервисами, интеграции грид, облачных технологий, по созданию среды для использования ресурсов суперкомпьютеров и других задач в развитии архитектуры Worldwide LHC Computing Grid (WLCG) и экспериментов на БАК. К сожалению, в мире таких специалистов очень мало, в большинстве стран их нет вообще.

Специалистов по географически распределенным научным вычислениям никто не готовит. Университеты готовят специалистов в тех областях, где есть готовые решения. Здесь - все решения, модели, ПО очень специфические. Конечно, всегда находятся энтузиасты в некоторых университетах, готовые создать кафедры, но это скорее исключение. Мы в университете "Дубна" - такое же исключение, готовим наших студентов и приглашаем ребят из других университетов, они учатся работать в этой среде, но, если уходят в другую сферу, уникальные навыки теряются. Они приобретают совершенно другую широту взглядов, потому что кроме коммерческих решений от Google и Microsoft есть решения от "любителей" в этом деле, которые, возможно, уступают по качеству, но по архитектуре, по охвату несравнимы с коммерческими.

Объединить грид-облака, кластеры, суперкомпьютеры в единую среду не возьмется никто, потому что это чрезвычайно сложная задача. А мы это умеем делать, и считаем, что в этом заключается перспектива развития, в том числе и российской науки. Для всех мегасайенс-проектов России надо создавать аналогичную компьютерную инфраструктуру, в которой должны быть организованы хорошие системы хранения, безопасности, передачи данных. И все должно быть хорошо интегрировано, чтобы пользователи разных научных групп могли контактировать между собой, работая над общими проектами. Это задача чрезвычайно сложная, но без ее решения российской науке будет трудно развиваться. Наши совместные усилия должны быть направлены на создание распределенной среды для крупных научных проектов и вовлечение в нее большинства научных центров и университетов. Все новые тренды: аналитика больших данных, квантовые технологии, фотонные технологии, искусственный интеллект и многие другие - будут во многом зависеть от решения этой глобальной задачи.

На конференции NEC в Варне на вопросы молодых ученых отвечают В.В.Кореньков, Г.А.Ососков, Ян Берд, Рене Бран

Когда составлялся этот Семилетний план, мы обсуждали перспективу, но, я думаю, вряд ли найдется много специалистов, которые могут сказать, что будет через семь лет в области ИТ. На два-три года более-менее можно прогнозировать, на пять лет сложнее. На второй-третий годы в двух прошедших семилетках мы делали то, что не было в них заложено: в первую семилетку мы создали центр Tier1, который не был запланирован, во вторую - внедрили суперкомпьютер "Говорун", что тоже не было запланировано. Я пока не могу сказать, что будет в новой семилетке. Конечно, универсальные компьютеры останутся, а к ним будут добавляться специализированные, это очевидно. Сейчас есть обычные компьютеры, есть с графическими процессорами, хорошо решающими определенный класс задач. Появятся квантовые компьютеры, сейчас они коммерчески недоступны и не удовлетворяют всем требованиям, но лет через семь-восемь технологии изменятся. Развиваются фотонные компьютеры, они будут как сопроцессоры к универсальным, а также компьютеры на биологической основе. Думаю, будут развиваться разные направления и технологии, искусственный интеллект затмил всё остальное, может быть, это временное явление, но ясно, что машины будут всё более универсальными. Уже говорят, что искусственный интеллект надо ограничивать, какие-то этические нормы в любом случае нужны. Меня, как стоявшего у истоков интернета в России, как-то спросили, принес он стране пользу или вред? Когда мы этим занимались, то думали только о пользе, не понимая, во что это может превратиться. Определенные этические нормы должны быть выработаны, но это слишком сложно, так же как слишком велико число желающих использовать интернет не во благо. Особенно страшно, когда совсем маленькие дети "залипают" в телефоне, перестают общаться вживую, втягиваются в виртуальный мир, не зная реального. Мне это кажется более страшным, чем хакерские атаки и интернет-мошенники. Кто мог всё это предположить 20-30 лет назад? Я думаю, здравый смысл и этические нормы заставят большинство найти разумные формы и методы работы.

Мы бы хотели создать не только российскую инфраструктуру для наших мегасайенс-проектов, но и вовлечь в нее большинство стран, в первую очередь страны-участницы ОИЯИ. Это чрезвычайно важная для нас задача. Только в этом году мы открыли два центра облачных вычислений - в Ташкенте и Алматы, открыт центр в Каире. Когда мы открывали центр в Алматы, я подчеркнул, что нам важны не только ресурсы научных центров Казахстана для наших задач, нам важно, чтобы вокруг инфраструктуры республики создавалось сообщество, решались задачи, нужные Казахстану. Если ресурсов облака не будет хватать, есть куда перебросить задачи, где хранить данные и т. д. Это дает возможность странам-участницам иметь большие ресурсы в том же Ташкенте, Каире, Алматы. Конечно, мы понимаем, что кроме мегасайенс-проектов, реализующихся в России, есть проекты, которые реализуют другие страны. В первую очередь, это Китай с одним из крупнейших в мире нейтринных проектов JUNO, участники которого обратились к нам, чтобы мы сделали центр Tier1 для хранения данных в Дубне. Уже подписано соглашение и начаты работы. Я думаю, в эту распределенную инфраструктуру мы будем привлекать и другие государства, наших потенциальных партнеров. Мы не отказываемся и от инфраструктуры для БАК. Думаю, скоро все встанет на свои места. Я только что был в ЦЕРН, и руководитель проекта WLCG считает, что наше сотрудничество будет продолжаться несмотря ни на что.

А мы тем временем расширяем нашу ленточную библиотеку с 40 петабайт до 90. Вместе с дисковым наше хранилище в начале следующего года составит примерно 150 петабайт. Это больше, чем Яндекс, Мейл.ру, Госуслуги и Сбер вместе взятые. Это богатство нужно использовать в первую очередь для мегасайенс-проектов, но не только. В принципе, мы можем обеспечить ресурсами хранения очень много проектов. Данные терять нельзя, культура работы с ними - это сейчас самое главное. А организовывать такую работу сейчас мало кто умеет. Даже в ЦЕРН, несмотря на их гигантский опыт работы, были проблемы. Результаты экспериментов, на которые были потрачены миллионы, даже миллиарды долларов, бесценны. Я знаю, что у нас негде хранить данные, которые получают зондированием Земли со спутников. Вот и на недавней конференции в РАН я говорил, что все уникальные данные надо во что бы то ни стало сохранить. И мы готовы в этом участвовать.

Конечно, для объединения географически распределенных центров требуются высокоскоростные каналы связи, и их развитие должно быть приоритетной задачей создания национальной научной инфраструктуры, чтобы устранить цифровое неравенство регионов страны. Это очень важно для развития коммуникаций со странами-участницами ОИЯИ, решением которой мы активно занимаемся.

Я думаю, мы всегда будем в тренде, мы готовы к любым вызовам.

Ольга ТАРАНТИНА,
фото из архива ЛИТ