1 Структура Linux кластера и базовое программное обеспечение
Базовый Linux кластер состоит из следующих аппаратно-программных
компонент:
- интерактивный кластер
- несколько вычислительных ферм
- серверы дискового пространства
- вспомогательные серверы
Вся аппаратная составляющая основана на процессорах Intel класса Pentium-III/IV
или AMD Atlon. На всех машинах, доступных пользователям, установлена ОС
Linux. Как правило, установлен дистрибутив, совпадающий с тем, что
используется в CERN.
На всех машинах, доступных пользователям, поддерживается идентичное
программное окружение. Это означает, что программа, скомпилированная и
отлаженная на интерактивном кластере, будет работать точно так же и на любой
из машин вычислительных ферм.
1.1 Интерактивный кластер
Интерактивный кластер является основным и единственным местом для всей
интерактивной деятельности пользователей: разработка и отладка программ;
работа с текстами в различных форматах; выход в Интернет и т. п. Для
равномерного распределения загрузки по всем машинам интерактивного кластера,
ему присвоено виртуальное имя cv.jinr.ru.
Реальные имена машин: lxpub01 - lxpub03
Пользователям запрещено запускать на этих машинах программы, непрерывное
время работы которых превышает 30 минут. Такие программы будут
"убиты" автоматически, с отсылкой e-mail сообщения пользователю.
1.2 Вычислительные фермы
В настоящий момент в состав Linux кластера входит три вычислительные фермы:
- ферма общего назначения
- ферма для экспериментов на Большом адронном коллайдере (БАК или LHC)
- ферма параллельных вычислений
Вычислительные фермы предназначены для работы счетных задач всех
пользователей Linux кластера. Запуск задач на счет, определение конкретной
фермы и машины в ней, управление выполнением задачи и отправка результатов
пользователю производятся средствами ПО системы пакетной обработки заданий
PBS. Интерактивный доступ на вычислительные фермы для пользователя
запрещен (закрыт). Однако для отладки счетной задачи можно использовать
интерактивный режим запуска PBS.
1.3 Серверы дискового пространства
Машины интерактивного кластера и вычислительных ферм имеют ограниченное
дисковое пространство, предназначенное для хранения собственно ОС и
некоторых дополнительных утилит, а также временных файлов пользователей с
непродолжительным сроком хранения.
Основное дисковое пространство для общего ПО, необходимого для работы
пользователей, пространство для хранения домашних каталогов, и области для
хранения больших временных файлов обеспечиваются дисковыми серверами
Linux кластера.
Часть дискового пространства распределено по протоколам AFS, часть - по NFS,
однако это скрыто от обычного пользователя и не оказывает влияния на его
программы, поскольку на каждой машине все это дисковое пространство
выглядит так, как будто это локальные диски этой машины. В то же время, все эти
каталоги являются общими как для интерактивного кластера, так и для всех
вычислительных ферм. На все дисковые серверы вход для пользователей строго
закрыт. Следует заметить, что основная ОС Linux установлена на этих серверах,
иначе, чем на интерактивном кластере и вычислительных фермах, и,
следовательно, стандартное окружение пользователя там не поддерживается.
Дисковые серверы предоставляют пространство для хранения общих программ и
утилит.
1.4 Вспомогательные серверы
Ряд вспомогательных серверов поддерживают некоторые функции по
обслуживанию работы пользователей на Linux кластере. В их задачу входит
предоставление следующих сервисов:
- e-mail
- домашние страницы WWW
- базы данных (MySQL)
- ftp
Эти сервисы в основном работают "прозрачно" с точки зрения пользователя, то
есть, не требуя дополнительных настроек. Часть этих серверов (WWW, ftp,
MySQL), обеспечивает поддержку лабораторных (ЛИТ) и институтских сервисов.
Часть (mail) предназначена в основном для обслуживания нужд пользователей
Linux кластера.
1.5 Базовое программное обеспечение
На Linux кластере установлен дистрибутив, совпадающий с основным
дистрибутивом Linux в CERN. В настоящее время - это CERN Linux 7.3.4. В
ближайшем будущем планируется переход на новый дистрибутив - Scientific
Linux CERN3 (SLC3).
Основные средства и утилиты поддержки работы пользователей:
- графическая оболочка XFree86
- поддержка "рабочего стола" Gnome и KDE
- компиляторы C, C++, Fortran 77
- текстовые редакторы vi/vim, emacs и другие
- отладчики
- утилиты работы с Интернет: mozilla, netscape, lynx, pine, ssh, ftp и т.п.
- пакеты для работы с графическими изображениями: ImageMagic, grace и т.п.
- SQL клиенты для работы с базами данных MySQL
- часть репозитория ASIS (CERN), включая CERNlib и дополнительные
компиляторы
- компиляторы фирмы Intel - C, C++, Fotran 90
- система пакетной обработки заданий PBS (batch)
и многое другое.
В задачу данного руководства не входит полное описание дистрибутива Linux и
сопутствующего ПО. Заметим только, что практически все ПО устанавливалось
стандартными средствами ОС - rpm (Red Hat Package Manager). Пользователь
может получить представление о его составе командой:
rpm -qa | less
и посмотреть описание каждого пакета из списка, который он получит по
предыдущей команде:
rpm -qi <имя_пакета>
Использование команды:
man -k <ключевое_слово>
довольно часто помогает найти утилиту для выполнения kapasswd (не passwd!), нужного действия, или
получить нужные сведения о свойствах ОС.
|