ЦИВК ЛИТ ОИЯИ

Информация о ЦИВК ЛИТ ОИЯИ:

Архитектура и аппаратура ЦИВК

Структурная схема ЦИВК

Схема сетевых соединений ЦИВК

Некоторые перспективы развития ЦИВК ОИЯИ

Базовое программное обеспечение ЦИВК

Как работать на ЦИВК

  Архитектура и аппаратура ЦИВК

В настоящее время в составе вычислительной фермы ЦИВК имеются следующие счетные машины:

- 60 64-х битных машин:
2 процессора Xeon 5150 (2 ядра на процессор);
тактовая частота 2.66GHz;
4096KB кэш на ядро;
8GB оперативная память;
250GB диск;
1Gb Ethernet.

- 30 64-х битных машин:
2 процессора Xeon E5430 (4 ядра на процессор);
тактовая частота 2.66GHz;
6144KB кэш на ядро;
16GB оперативная память;
250GB диск;
1Gb Ethernet.

- 10 64-х битных машин:
2 процессора Xeon X5450 (4 ядра на процессор);
тактовая частота 3.00GHz;
6144KB кэш на ядро;
16GB оперативная память;
250GB диск;
1Gb Ethernet;
2x infiniband.

- 10 64-х битных машин:
2 процессора Xeon E5410 (4 ядра на процессор);
тактовая частота 2.33GHz;
6144KB кэш на ядро;
16GB оперативная память;
2 * 160GB диск;
1Gb Ethernet;
2x infiniband.

- 54 64-х битных машины, по 2 машины в одном корпусе высотой 2 дюйма (U2):
2 процессора Xeon E5420 (4 ядра на процессор);
тактовая частота 2.50GHz;
6144KB кэш на ядро;
16GB оперативная память;
250GB диск;
1Gb Ethernet.

- 60 64-х битных машины, по 2 машины в одном корпусе высотой 2 дюйма (U2):
2 процессора Xeon E5430 (4 ядра на процессор);
тактовая частота 2.66GHz;
6144KB кэш на ядро;
16GB оперативная память;
500GB диск;
1Gb Ethernet.

- 80 64-х битных машин, по 4 машины в одном корпусе высотой 4 дюйма (U4):
2 процессора Xeon X5650 (6 ядер на процессор);
тактовая частота 2.67GHz;
12288KB кэш на ядро;
24GB оперативная память;
2 x 500GB диск;
1Gb Ethernet.

- 4 64-х битных машины в одном корпусе высотой 4 дюйма (U4):
2 процессора Xeon E5540 (4 ядра на процессор);
тактовая частота 2.536GHz;
8192KB кэш на ядро;
24GB оперативная память;
250GB диск;
1Gb Ethernet.

Так как 2-х, 4-х и 6-и ядерные процессоры являются в действительности двумя и четырьмя независимыми процессорами на одном кристалле, то мы располагаем 2560 64-х битными ЦПУ. Все эти ЦПУ доступны и пользователям ОИЯИ, и пользователям грид через единую систему пакетной обработки заданий - batch.

Для разработки собственного ПО и других нужд пользователей ОИЯИ установлены 5 машин с интерактивным доступом пользователей:
- 4 x 64-х битных машины
Xeon X5650, 12 x Core, 36GB RAM, 2 x 500GB HDD, 1Gb Ethernet;
- 1 x 64-х битная машина
Xeon E5420, 8 x Core, 16GB RAM, 250GB HDD, 1Gb Ethernet.

В состав ЦИВК входит несколько серверов поддержки работы пользователей и служб ОИЯИ: batch, WWW, БД mysql и Oracle; e-mail; DNS , мониторинг Nagios и другие. Эти серверы работают с основном на 64-х битных аппаратных Xeon и Opteron.

Основной системой хранения больших объемов информации в ЦИВК ОИЯИ служит аппаратно-программный комплекс dCache. Мы поддерживаем 2 установки dCache:
- для 2-х виртуальных организаций LHC CMS и ATLAS;
- для локальных пользователей и групп пользователей и международных проектов MPD, HONE, FUSION, BIOMED, COMPASS.

В настоящий момент в 2-х установках dCache задействованы 9 серверов основных интерфейсов системы dCache и 46 систем хранения данных (Pool).

Несколько объединений пользователей нашего центра используют систему доступа к удаленной информации XROOTD. Для работы этой системы созданы 3 аппаратно-программных комплекса в составе:
1 сервер обработки запросов к системе и 14 систем хранения данных.

Аппаратные платформы серверов составляющих системы хранения: Xeon и Opteron. Все системы хранения построены с использованием аппаратного механизма RAID6. Общая доступная емкость систем хранения dCache и XROOTD составляет ~1.4PB.

В ЦИВК ОИЯИ установлено 6 серверов AFS - высоко защищенной распределенной файловой системы, которая является основой поддержки домашних директорий пользователей и системой доступа к общему ПО для всего ОИЯИ. Общее пространство AFS в ОИЯИ составляет ~6TB.

Для обслуживания сайта WLCG в ОИЯИ (сайт - отдельный кластер в распределенной среде WLCG) и других международных коллабораций, установлено 22 сервера с системой gLite (ПО промежуточного уровня WLCG). Кроме функций поддержки работы самого сайта JINR-LCG2, часть серверов реализуют важные сервисы и функции поддержки Российского сегмента проекта WLCG.

Для улучшения работы локальной сети ЦИВК и достижения требуемых параметров доступа к данным и файлам применяются агрегирование (TRUNK) нескольких соединений 1Гигабит Ethernet в единый виртуальный канал увеличенной пропускной способности.

На рис.1 приведена логическая структура сетевого соединения корзины Superblade с 10-ю вычислительными лезвиями к локальной сети ЦИВК.
Рисунок 2 отображает подключение 20-и счетных машин установленных в стойке к локальной сети ЦИВК.
Рисунок 3 отражает логику подключения стойки с 8-ю дисковыми серверами к основному маршрутизатору локальной сети ЦИВК.



Рис.1


Рис.2


Рис.3
Используя схему агрегирования сетевых линков, мы смогли выполнить требования по скорости доступа к данным из счетных задач основных пользователей наших ресурсов, как локальных пользователей ОИЯИ, так и пользователей wLCG/EGEE. Данная схема позволила не переводить всю локальную сеть на более мощные каналы (10GbE, или Infiniband), что потребовало бы весьма значительных денежных затрат.
   Copyright © ЛИТ, ОИЯИ , 2006
    Webmaster : @jinr.ru