Широкий взгляд на информационные проблемы

26-27 мая в Лаборатории информационных технологий работал научно-практический форум "Распределенные информационно-вычислительные системы и обработка данных в XXI веке", организованный ОИЯИ и НИИЯФ МГУ. Форум собрал специалистов ведущих в этой области российских исследовательских центров, представителей ИТ-бизнеса, сотрудников лаборатории, студентов университета "Дубна". На форуме обсуждались вопросы современных тенденций в области проектирования, создания и практики применения современных и перспективных распределенных информационно-вычислительных систем и технологий обработки больших объемов данных. Огромными объемами информации приходится оперировать не только в различных областях естественных наук, но и в промышленности, и бизнесе. Сегодня технологии распределенных вычислений и обработки данных позволяют объединить компьютерные ресурсы, расположенные в любых точках мира, и предоставить их пользователям с помощью дружественных проблемно-ориентированных веб-интерфейсов.

- Мы рады приветствовать высококвалифицированную команду наших друзей, с которыми реализовали много проектов, - открыл форум директор лаборатории В.В.Кореньков. - Мы без колебаний согласились провести этот форум, организованный по инициативе коллег из НИИЯФ МГУ.

А.П.Крюков (НИИЯФ МГУ):

ОИЯИ предоставил удобную площадку, где можно встретиться заинтересованным лицам и обсудить направления развития технологии распределенных вычислений и обработки больших данных в будущем. Здесь собрались ведущие российские специалисты, которые начали заниматься этой тематикой в начале 2000-х, - и не для того, чтобы подвести итоги, это не задача настоящего форума, а посмотреть, какие есть перспективные направления. Причем с разных сторон - как с точки зрения разработки программного обеспечения, так и с позиций фирм, занимающихся разработкой "железа". Также важны были запросы со стороны пользователей технологии. Например, доклад по МеgаPanDA касался экспериментов на Большом адронном коллайдере, но не только. Здесь ставится задача выйти за пределы потребностей ЦЕРН и распространить эти технологии на другие области, такие как биоинформатика, материаловедение и так далее - можно назвать практически любую область, где требуется либо большой объем вычислений, либо анализ больших объемов данных. Если в начале 2000-х вопрос больших данных практически везде, за исключением физики высоких энергий, так остро не стоял, то сейчас, с развитием информационных технологий, многие вещи требуется пересмотреть. Да и объемы данных резко возросли. Например, 15 лет назад социальные сети были экзотикой, а сейчас анализ больших объемов данных, сосредоточенных в них, является одним из важных направлений исследования.

Развитие информационных технологий, Интернета как базовой инфраструктуры позволило пересмотреть общий взгляд на проблему вычислений, анализа, компьютинга. Стало понятно, что практически любая обработка данных, их анализ - это всегда распределенные приложения. Если раньше под распределенными приложениями понимались достаточно компактные кластеры, то сейчас географически распределенные вычисления стали обыденностью. Это ответ на вызов современного мира, потому что количество датчиков растет просто фантастически. Простой пример. У каждого в кармане телефон, а это не просто средство связи, но и те же датчики, которые принимают информацию, посылают, ее требуется обрабатывать, мониторировать и так далее. Это проблема разработки, эксплуатации распределенных информационно-вычислительных систем. Обратите внимание - не просто вычислительных систем, а именно информационно-вычислительных. Понять, каким образом информационные технологии в этой области будут развиваться, - задача настоящего форума. Важно отметить, что на форуме был представлен ряд работ, которые выполняются при финансовой поддержке Министерства образования и науки РФ.

В таком формате эта встреча проходит впервые - мы постарались отойти от узко специализированных и сугубо научных обсуждений в сторону более широкого взгляда на проблему. Я смотрю на собравшуюся аудиторию - это не только люди, работающие в этой тематике, но и потенциальные пользователи, студенты и аспиранты и те, кому это просто интересно. Мы надеемся, что этот интерес через их контакты распространится на более широкую аудиторию, что позволит внедрить современные ИТ в практику научных исследований, образования и в индустрию.

В.А.Ильин (НИЦ "Курчатовский институт"):

Этот форум посвящен вопросам, которые находятся в центре внимания специалистов по информационным технологиям для науки. Одно из таких направлений - создание мощных центров по обработке и анализу данных научных экспериментов, ну и, конечно, важнейшее место отводится Tier1-центру, создаваемому в Дубне и "Курчатовском институте". Этому направлению и сопутствующим задачам посвящена часть докладов. Наверное, это главная тема форума, и разработчики ИТ-решений, которые будут выступать, тоже заинтересованы, поскольку это важно, актуально и сейчас интенсивно развивается в ОИЯИ, "Курчатовском институте" и других центрах тоже, это очень обширная деятельность. Tier1 - это центры массовой обработки данных от научных мега-установок, чтобы далее проводить их научный анализ. Такие центры, их десять в мире, были созданы для грид-компьютинга данных с Большого адронного коллайдера. Россия сейчас подключается к глобальной инфраструктуре, но на самом деле установки такого уровня или даже терминология Tier1-центров начинает использоваться и в других мега-проектах. Например, на повестке дня стоит задача создания Tier1-центров для рентгеновского лазера на свободных электронах XFEL - мега-проекта в Гамбурге, для установки FAIR и, конечно же, для реализуемого в ОИЯИ проекта NICA. Таким образом, создаваемый сейчас в ОИЯИ и "Курчатовском институте" Tier1-центр для ЦЕРН - это очень важный этап накопления и технологического, и научного опыта, чтобы для проекта NICA строить полнофункциональную цепочку хранения, обработки и анализа данных.

А.К.Кирьянов (ПИЯФ):

Мы тут все друг друга уже 15 лет знаем, сотрудничаем, но я больше взаимодействую с коллегами из "Курчатовского института". А мой доклад посвящен FTS3. Эта система передачи данных непосредственно к вычислениям не относится, но связана с ними очень тесно. Как здесь уже прозвучало в нескольких докладах, данных очень много, их нужно где-то хранить, и необходимы программные средства, позволяющие эти данные передавать из одного места в другое. В том числе, чтобы какие-то популярные данные хранились не в одном месте, а в нескольких, чтобы облегчить к ним доступ. Также с появлением облачных хранилищ создано и много новых систем хранения данных с разными протоколами. Наша система позволяет данным мигрировать между различными протоколами. Эта система давно и хорошо себя зарекомендовала, она используется тремя экспериментами в ЦЕРН - LHCb, ATLAS и CMS. Поскольку эта система разрабатывалась в ЦЕРН, одним из важных изменений, задекларированных там несколько лет назад, была ориентация не только на LHC, но и на другие научно-прикладные области. Ее можно легко установить где угодно. И всем научным сообществам, имеющим данные, которые можно хранить в разных местах, в разных точках мира, или желающим куда-то передавать свои данные, она очень хорошо подходит.

Яркими примерами готовых моделей в своем докладе "Технологии распределенных вычислений для решения задач большого города" заинтриговал аудиторию А.В.Бухановский (ИТМО, Санкт-Петербург).

- Ваш университет, бывший Ленинградский институт точной механики и оптики, также занимается информационными технологиями?

- Наш университет попал в перечень университетской программы "5 - 100 - 2020" (правительственная программа по повышению конкурентоспособности отечественных вузов, призванная обеспечить к 2020 году вхождение пяти российских университетов в мировую сотню лучших - О.Т.). Конечно, ЛИТМО был оборонным вузом и всегда занимался, можно сказать, информационными технологиями: точная механика - это те самые первые механические ЭВМ, а оптика - ввод данных для них. Сейчас современные информационные технологии стали, можно сказать, нашим флагом. При этом университет осуществляет серьезную диверсификацию научных направлений: упор переносится на междисциплинарные исследования, на задачи родного города ("Санкт-Петербург - это наша лаборатория"), на задачи трансляционной медицины и биотехнологии, на информационные технологии в гуманитарных областях и искусстве. При этом ключевые достижения университета в области уже устоявшихся научных направлений (фотоники, информационных технологий) интенсифицируются, чтобы содействовать решению новых прорывных задач на междисциплинарных площадках.

Я представил в Дубне результаты более чем двухлетней работы достаточно большого коллектива специалистов НИИ Наукоемких компьютерных технологий (структурного подразделения ИТМО), работающих в различных направлениях, связанных с моделированием городских процессов. Мы решаем проблему моделирования процессов большого города с точки зрения "индивидуумно-ориентированного" подхода. Это означает, что во главу угла ставится поведение человека - жителя этого города; все остальные городские процессы определяются состоянием общества. Ключевым фактором, отражающим это поведение, становится городская мобильность, (то есть куда и когда люди ходят, с кем и где встречаются, как меняется уровень их жизни, как они обмениваются информацией в социальных сетях). Промоделировать поведение конкретного человека невозможно, однако, с точки зрения макрохарактеристик всего социума, есть общие закономерности, которые можно воспроизводить на компьютере. У этих моделей есть свои проблемы, они сильно зависят от качества данных, ряд параметров являются вероятностными и нечеткими, и требуют привлечения гуманитарных знаний, например социальной психологии. Потому коллектив у нас в НИИ достаточно экзотический, там есть и гуманитарии - историки, социологи по образованию, и эти задачи они решают вместе с математиками, алгоритмистами, специалистами по информационным технологиям.

Конечно, нельзя сказать, что мы уже научились моделировать все виды городских процессов в комплексе, но сейчас активно это отрабатываем на примере Санкт-Петербурга. При этом решаются различные прикладные задачи, в которых моделируются перемещение людей в городе, транспортные потоки (включая метро, личный и общественный транспорт), пешеходные потоки как в открытых местах - например народные гуляния, так и в больших общественных зданиях - аэропортах, вокзалах, торговых центрах. И на основе всех этих процессов мобильности изучаются разные явления, которые представляют практический интерес для города. В частности, скрытые процессы - например криминальные сети, процессы, связанные с распространением инфекций в городской среде, процессы наркотизации и другие.

- А какие-то решенные вами задачи уже используются в жизни города?

- Да. В реальной жизни предметными специалистами уже используются модели, связанные с городской мобильностью и передачей инфекций, связанные с динамикой криминальных сетей (распространение наркотиков), оптимизацией работы службы "Скорой помощи". Однако с точки зрения прикладных задач сами модели мобильности населения имеют весьма ограниченный спрос. Они весьма затратны в разработке и эксплуатации, но за них мало кто готов платить. Бизнес-структуры готовы платить за реальные результаты (например, оптимальные, без стояния в пробках маршруты движения мусоровозов по городу), а за инструмент, на основе которого решены такие задачи, - нет. Поэтому, по аналогии с моделированием и прогнозированием погоды, работа над такими моделями большей частью должна поддерживаться государством (на городском, региональном или даже федеральном уровне).

- Вы сюда приехали, наверное, не только для того, чтобы выступить с докладом...

- Организаторов форума - коллег из ОИЯИ, "Курчатовского института" и НИИ ядерной физики МГУ - я знаю довольно давно, у нас с ними очень хорошие профессиональные отношения и, кроме того, совместные проекты, связанные с развитием инфраструктуры распределенных вычислений. Но зачем я буду рассказывать на форуме про саму инфраструктуру? Об этом аспиранты доложат всё как положено. А я решил немного развлечь аудиторию, представив наши прикладные проекты, которые реализуются на этой инфраструктуре. Но независимо от произведенного докладом впечатления, у нас есть общие задачи, и этот визит для меня рабочий.

Ольга ТАРАНТИНА