Приветствую, уважаемые гости и читатели блога. Первая техническая статья заметка о оборудовании NetApp посвящена описанию сетевых Ethernet интерфейсов. C первого взгляда, на администратора СХД наваливается куча аббревиатур типа e0M, SP, RLM, BMC, e0x и некоторые другие. По началу, можно в этом запутаться. Но чтение мануалов расставляет все на свои места. Постараюсь изложить свое понимание данного вопроса. Итак, в хранилище NetApp есть куча Ethernet интерфейсов, которые можно обнаружить на задней части хранилища (в ссылках можно найти образцы).

Для примера, FAS22хх (HA-пара в одном шасси) имеет в своем составе шесть RJ45 на одном контроллере и шесть RJ45 – на другом, а  FAS32xx и FAS62xx имеет по пять  RJ45 разъемов (без учета слотов расширения PCI).

Именование сетевых интерфейсов NetApp (DataONTAP)

Имена сетевых интерфейсов формируются в зависимости от того являются ли они виртуальными (VLAN, EtherChannel) или физическими. Нас интересуют физические. Физические интерфейсы именуются на основе порядкового номера физического адаптера, а точнее слота, в котором установлен физический адаптер. Перед номером слота указывается буква “e”, обозначающая тип порта – Ethernet. После номера слота указывается буква (обычно от a до d), обозначающая номер порта в многопортовой сетевой карте. В целом, правило именования физических интерфейсов выгладит так:

• e<номер_слота> – если адаптер однопортовый
• e<номер_слота><буква_порта> если адаптер многопортовый

Кроме того, некоторые СХД NetApp (например серия FAS) содержит дополнительный порт, именующийся e0M, а так же e0P.

Взаимодействие e0a, e0M, e0P и других сетевых интерфейсов в NetApp

Наиболее наглядно взаимодействие интерфейсов описывает иллюстрация, которую я взял из документации и немного доработал для наглядности.

 

 

Как видно, на иллюстрации обозначился некий элемент удаленного управления – remote management device. О его функциях и взаимодействии – ниже.

Описание Ethernet портов e<номер_слота><буква_порта>

Данные порты могут использоваться для всего что угодно. Это классический порт, доступный операционной системе DataONTAP. Ничем функционально и/или архитектурно не отличающийся от традиционного порта 1G или 10G Ethetnet-карты подключенной в любую другую операционную систему. Порты поддерживают и VLAN и группировку (EtherChannel) и jumbo frames. Основное назначение портов – передача данных. Кроме передачи данных их можно настраивать на трафик управления. Настройка данных интерфейсов осуществляется с помощью команды ifconfig и стартового скрипта /etc/rc.

Описание Ethernet порта e0M

Интерфейс e0M (обозначен на задней стороне шасси как e0M, а так же в виде гаечного ключа) по сути подключен во внутренний Ethernet коммутатор. Внутренний свич обеспечивает соединение с 1. собственно, e0M интерфейс, который является классическим Eternet для DataONTAP и 2. устройство удаленного управления (такое как SP или RLM). e0M интерфейс – это классический Ethernet, который классически управляется ifconfig и /etc/rc. e0M использует общее с остальными портами e<номер_слота><буква_порта> “окружение”. Под окружением я понимаю таблицу маршрутизации, arp и другие взаимосвязанные сетевые параметры и технологии. Отличия данного интерфейса в том, что скорость его ограничена 100Мбит, не поддерживаются interface groups, VLANs, и jumbo frames. Данный интерфейс по своим ограничениям практически непригоден для использования в качестве интерфейса передачи данных. Документация настоятельно рекомендует использовать его по назначению, то есть для управления хранилищем. (При этом, NFS и др. сетевые протоколы корректно работают через него.) Из всего сказанного можно сделать вывод, что данный интерфейс предназначен 1. для управления контроллером, 2. отделить/изолировать трафик управления от трафика данных. Документация NetApp рекомендует учитывать следующие указания для оптимальной производительности хранилища:

• e0M и обычные Ethernet интерфейсы не должны быть сконфигурированы в одной подсети.
• e0M интерфейс не должен использовать подсеть, которая используется для передачи данных. Если нет возможности выполнить данное условие, необходимо выключить e0M и настроить трафик управления через высокоскоростные интерфейсы данных.
• e0M интерфейс не должен быть настроен на IP адрес, принадлежащей подсети, в которой находится IP адрес шлюза маршрута по умолчанию.
• IP адрес e0M интерфейса не должен указываться/резолвиться в NIS или DNS для клиентов сети передачи данных.
• Если интерфейс e0M не используется, он должен быть явно выключен при загрузке (указан в /etc/rc файле в виде  ifconfig e0M down).

Описание удаленного устройства управления (SP, RLM, BMC)

В зависимости от версии хранилища (контроллера?) к внутреннему ethernet коммутатору может быть подключено одно из удаленных устройств/контроллеров  управления SP, RLM или BMC. Данные аббревиатуры расшифровываются как SP – Service Processor, RLM – Remote LAN Module и BMC – Baseboard Management Controller.

• Модуль RLM поставляется в моделях 31xx, 6040, и 6080.
• Модуль BMC поставляется в платформах снятых с поддержки (если не ошибаюсь FAS20хх, 30xx).
• Модуль SP включен во всех других платформах.

Функционально, данный контроллер является аналогом iLO на серверах HP (только не такой жадный на Advanced лицензии ) ). Отличия/сходства SP, RLM, BMC от e0M следующие:

• SP, RLM, BMC как и e0M используются для управления устройством и используют для взаимодействия с внешним миром один порт, обозначенный значком гаечного ключа и e0M или RLM
• e0M интерфейс используется только для задач администрирования ОС Data ONTAP
• устройство удаленного управления так же может использоваться для задач администрирования ОС Data ONTAP, НО так же имеется функционал доступа к локальной консоли, мониторинга, troubleshooting, управление питанием, управление логами и  предупреждениями/уведомлениями.
• устройство удаленного управления продолжает функционировать независимо от состояния (включена/выключена) операционной системы Data ONTAP.
• Набор команд удаленного устройства управления ограничен. Например, Service Processor:

SP netapp-filer> ?
date - print date and time
exit - exit from the SP command line interface
events - print system events and event information
help - print command help
priv - show and set user mode
sp - commands to control the SP
rsa - commands for Remote Support Agent
system - commands to control the system
version - print Service Processor version

• e0M интерфейс управляется из Data ONTAP, SP, RLM, BMC так же может конфигурироваться через Data ONTAP, но так же имеет свои инструменты для настройки.
• для авторизации удаленный интерфейс использует учетную запись naroot с паролем от root в Data ONTAP или пользователи, созданные в Data ONTAP с разрешениями роли admin или другой роли с  login-sp capability
• SP и RLM использует изолированную сетевую среду, независимо от сетевой среды Data ONTAP.
• Для контакта с AutoSupport SP и RLM может использовать только SMTP протокол
• SP, RLM, BMC поддерживают управление только по SSH, либо через локальную консоль. e0M поддерживает все доступные протоколы Telnet, SSH, RSH, HTTP/HTTPS.

Управление SP из Data ONTAP производится с помощью команд system node service-processor. Настройка RLM из Data ONTAP производится с помощью команд rlm setup.

Из всего описанного можно сделать вывод, что ключевое отличие SP, RLM, BMC от e0M заключается в том, что e0M используется только для администрирования DataONTAP, а SP, RLM, BMC используется для управления контроллера (по аналогии с iLo).

Другие сетевые и несетевые RJ45 порты NetApp 

Кроме рассмотренных SP, RLM, BMC, e0M в NetApp существуют так же порты, которые внешне выглядят как RJ45. Это порты, обозначенные IOIOI и e0P (гаечный ключ с замком). Порт IOIOI – это классический консольный последовательный (COM) порт, используемый для доступа к локальной консоли и к SP через локальную консоль. Порт e0P – это порт используемый для ACP (Alternate Control Path). ACP – это протокол используемый в Data ONTAP для управления и мониторинга дисковыми полками SAS. Данный порт использует полностью изолированную сетевую среду и не нуждается в какой-либо настройке, достаточно просто поднять сетевой интерфейс и обеспечить правильное каблирование. Data ONTAP автоматически мониторит наличие дисковых полок и соответственно настраивает e0P.

Резюме

В статье о сетевых интерфейсах NetApp я постарался описать ключевые различия между интерфейсами управления и в общих чертах описал функционал сетевых интерфейсов для передачи данных. Возможно, кто-то из читателей добавит какие-то уточнения – буду благодарен.

Ссылки

http://blog.aboutnetapp.ru/archives/689 – NetApp: вид сзади
https://library.netapp.com/ecmdocs/ECMP1155684/html/frameset.html – Data ONTAP System Administration Guide
https://library.netapp.com/ecmdocs/ECMP1155586/html/frameset.html – Data ONTAP Network Management Guide

С Уважением, Mc.Sim!

---

Теги: NetApp, network