Выключение SELinux

По умолчанию служба SELinux включена. Проверка состояния службы выполняется командой sestatus Для выключения службы SELinux необходимо в файле /etc/sysconfig/selinux установить значение переменной SELINUX=disabled. Файл должен выглядеть следующим образом:

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
...
...
...

Для вступления изменений в силу необходимо перезагрузить сервер. После перезагрузки сервера с помощью команды sestatus следует убедиться, что служба SELinux выключена.

# sestatus
SELinux status:                 disabled

Настройка сетей

Мы исспользуем 2 типа сетей на кластере : 1) Ethernet 2) Interconnect(Infiniband/OmniPath)

Ethernet

Исспользуется для управления, настройки и доступа к кластеру. Обычно мы делим сеть на две подсети (VLAN - 'MGMT','ACCESS'), для разграничения управляющих интерфейсов("MGMT" для управления NMC) и интерфейсов доступа ("ACCESS" для прямого доступа к IPMI/ssh сервера).

Выключение Firewall

Для упрощения настройки служб Docker необходимо остановить службу firewall и отключить её автоматический запуск, для чего выполняются команды:

systemctl disable firewalld

systemctl stop firewalld

Настройка resolv.conf

Для обеспечения работы сервисов необходимо добавить в файл контекст поиска:

hpc service.consul

и адрес сервера управления в сети доступа

nameserver 10.0.0.2

Для обеспечения доступа к репозиторию программного обеспечения BasIS необходимо убедиться, что в данном файле указан корректный адрес DNS-сервера локальной сети.

Пример конечного варианта файла resolv.conf:

# cat /etc/resolv.conf 
search hpc service.consul
nameserver 10.0.0.2
nameserver 192.168.1.1

Создание VLAN интерфейсов

Для организации доступа сервера управления к сетям доступа и управления необходимо на одном из Ethernet-интерфейсов настроить VLAN-интерфейсы для доступа в соответствующие сети.

Для создания Vlan на управляющем сервере необходимо создать файлы: - ACCESS - /ets/sysconfig/network-scripts/ifcfg-eno1.40 - MGMT - /ets/sysconfig/network-scripts/ifcfg-eno1.44

Пример содержимого файла:

VLAN=yes
PHYSDEV=eno1
TYPE=VLAN
VLN_ID=40
BOOTPROTO=static
DEFROUTE=no
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_FAILURE_FATAL=no
NAME=eno1.40
DEVICE=eno1.40
ONBOOT=yes
IPADDR=10.0.0.2
PREFIX=16
NM_CONTROLLED=no

После настройки VLAN интерфейс можно включить двумя способами:

Выполнить команду ifup eno1.40 (для NetworkManager nmcli connection up eno1.40).
Перезапустить сервис network (NetworkManager).

Выключение автоматического обновления resolv.conf службой Network Manager

Для исключения случая автоматического редактирования файла resolv.conf службой NetworkManager необходимо в файл настроек службы /etc/NetworkManager/NetworkManager.conf добавить строки в раздел [main]:

# cat /etc/NetworkManager/NetworkManager.conf | grep -v "\#"
[main]
plugins=ifcfg-rh
dns=none

После завершения редактирования файла настроек службу NetworkManager необходимо перезапустить:

systemctl restart NetworkManager.service

Interconnect(Infiniband/OmniPath)

Высокоскоростная коммутируемая сеть, используемая в высокопроизводительных вычислениях, имеющая очень большую пропускную способность и низкие задержки.

Исспользуется в основном для передачи данных между серверами при выполнении задач/расчетов и пр.

Пример файла конфигурации для высокоскоростной сети /etc/sysconfig/network-scripts/ifcfg-ib0 :

CONNECTED_MODE=no
TYPE=InfiniBand
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=no
IPV4_FAILURE_FATAL=no
NAME=ib0
DEVICE=ib0
ONBOOT=yes
IPADDR=10.0.8.2
PREFIX=16
PEERDNS=no
PEERROUTES=no

Доступ пользователей на кластер обычно происходит через Login сервер, который получает адре