Приветствую, уважаемые читатели и гости моего блога. Сегодня размещу небольшой справочник основных команд, используемых при администрировании СХД NetApp на базе операционной системы DataONTAP. Данные команды так же подходят для управления СХД от IBM N series. По аналогии со статьей шпаргалка команд Linux ). Управлять хранилищем возможно через различные инструменты и интерфейсы. DataONTAP управляется через специализированные интерфейсы e0M или через интерфейсы передачи данных e0a, e0b и аналогичные, или через локальную консоль (RJ45 to RS232). Инструменты управления так же различны: имеются как GUI (System Manager,MMC) так и CLI (rsh,telnet,ssh) через Ethetnet или консольный порт. Мне больше по душе командная строка, хотя System Manager проработан довольно неплохо как приложение Windows. Т.к. DataONTAP базируется на FreeBSD, она унаследовала некоторые характеристики командной оболочки UNIX. Например, поддерживаются горячие клавиши.

Горячие клавиши NetApp DataONTAP

Комбинация клавиш	Значение
Ctrl + F или стрелка вправо	Переместить курсор вправо на одну позицию
Ctrl + B или стрелка влево	Переместить курсор влево на одну позицию
Ctrl + A	Переместить курсор в начало строки
Ctrl + K	Переместить курсор в конец строки
Ctrl + H	Удалить символ слева от курсора
Ctrl + U	Удалить строку
Ctrl + W	Удалить слово
Ctrl + R	повторно вывести строку
Ctrl + I	Табуляция (Tab)
Ctrl + E (end)	переметить курсор в конец строки
Ctrl + P	предыдущая команда
Ctrl + N	Следующая команда
Ctrl + C	отменить команду

Команды управления базовыми настройками СХД

Очень жаль, что командная оболочка не поддерживает автодополнение команд. В будущих версиях это обещают доделать (говорят в режиме Cluster это уже работает, но проверить пока не довелось). Основная команда, которая применяется чаще всего это help или “?“. Без аргументов выводит все доступные в системе команды. Если ввести команду help перед другой командой, то будет выведена краткая справка о команде, если ввести после команды и перед одним из параметров команды, то будет выведена краткая справка об использовании параметра. Еще одна очень важная команда помощи – man.

• availtime – статистика времени работоспособности и доступности системы по протоколам
• config – работа с конфигурацией хранилища
  • dump – сохранение
  • diff – сравнение
  • restore – восстановление
  • clone – клонирование на другую ноду
• date – как в unix, управление датой (date [-u] [[[CC]yy]mmddhhmm[.ss]])
• download –  задать установленный образ DataONTAP в качестве образа по умолчанию при последующей  загрузке
• environment – Отображает статус физического окружения (температура полок и шасси системы хранения и др. параметры)
• halt – выключение контроллера
• led_on диск – подсвечивает диске в хранилище. Очень удобно для визуальной идентификации сбойного диска. (работает только в advanced режиме)
• led_off диск – отключение подсвечивания
• lock status -h – команда для отображения блокировками файлов (-h группирует вывод по хостам)
• license – управление лицензиями
  • add – добавить
  • delete – удалить
  • show – показать
• options parametr – основная команда для задания параметров хранилища. Список основных разделов параметров предоставлен ниже.
• passwd – обычный юниксовый passwd для управления паролями пользователей
• priv set [ priv-level ] – установка уровня привилегий текущей сессии, где priv-level это admin –  ограниченный, advanced – расширенный.
• reboot – перегружает контроллер
• rdfile /path/to/file – чтение файла. Вместо использования rdfile я предпочитаю монтировать корневой том по nfs и редактировать файлы в Linux.
• rm /vol/volХ/somefile – удаление файлов с хранилища (вроде работает только в расширенном режиме)
• secureadmin – управление безопасными протоколами управления (SSL n SSH)
  • setup – задание настроек
    • ssl – задание настроек https
    • ssh – задание настроек SSH
• setup – скрипт настройки контроллера, работает в виде мастера
• software – команда для установки\обновления Data ONTAP
  • get url – загружает на контроллер OS с http сервера
  • update – обновляет OS из загруженного файла
• stats – отображение статистики о хранилище.
  • show vstorage – отображение статистики работоспособности VAAI (VMware vStorage APIs for Array Integration)
• storage – команда управления адаптерами дисков SAS, SCSI и FC
  • download shelf – загрузить прошивку в дисковую полку
  • show – отображает конфигурацию хранилища
    • adapter – отображает информацию о всех адаптерах (SAS, FC, iSCSI, FCoE), включая сопутствующую информацию о характеристиках
    • disk – отображает текущую информацию о дисках 
      • -p – отображает информацию о primary and secondary paths для дисков
    • tape – отображает информацию о подключенных ленточных библиотеках
  • stats – отображает статистику ленточной библиотеки
• sysconfig – различная информация о системе
  • -a – еще более подробный вывод о каждом устройстве I/O
  • -d – физические диски
  • -r – отображает общую информацию о конфигурации RAID (агрегаты, vol, disks, spares, failed…) (aggr status -r и vol status -r)
  • -v – подробный вывод о каждом устройстве I/O
• sysstat int – отображение статистики производительности хранилища (CPU, network I/O,  disk I/O…). int указывает интервал вывода статистики (по-умолчанию – 15 сек)
  • -b – отображение статистики FCP совместно со статистикой HA партнера
  • -f – статистика трафика FCP
  • -s отображение суммарной статистики после остановки команды
  • -u отображение расширенной статистики утилизации
• timezone – установка и просмотр информации о временной зоне
• uptime – классика ) аптайм он и в новой гвинее аптайм
• useradmin – управление пользователями, группами, ролями
  • group – управление группами
  • user – управление пользователями
  • list – список
  • add – добавление
  • role – управление ролями
• version – отображение версии Ontap
  • -a отображение расширенной информации о версии
• wrfile (-a) – запись в файл. (опция -a указывает дописать текст в конец файла). Аналог “cat > filename” в Linux или “cat >> filename” при использовании -a. Вместо использования rdfile\wrfile я предпочитаю монтировать корневой том по nfs и редактировать файлы в Linux. 

Команды управления сетевой подсистемой DataONTAP

• dns – информация о работе DNS
  • info –  статистика кэша dns
• hostname – отображение и задание имени хоста контроллера (необходимо добавить в /etc/rc, чтобы при перезагрузке имя сохранилось)
• ifgrp – управление  interface group (bonding/trunking/teaming)
  • create – создание группы интерфейсов
  • status – показывает статус группы интерфейсов
• ifconfig – классическая unix команда для управления сетевыми интерфейсами. Чтобы действия команды сохранялись при перезагрузке, необходимо продублировать команды в /etc/rc
• ifstat – показывает статистику сетевых интерфейсов
• netstat – отображает сетевую статистику
• pktt – трассировщик сетевых пакетов. Аналог tcpdump в linux. На сайте romx есть хорошая статья о pktt.
• route – управление таблицей маршрутизации
• vlan – команда для управления конфигураций VLAN интерфейсов

Команды управления разделам, агрегатами и другими элементами хранилища

 

• aggr – управление аггрегатами
  • status – статус аггрегата
    • -f отображение дисков/LUN, которые находятся в статусе fail
    • -i Отображает aggregate и тома, содержащиеся на каждом aggregate
    • -m диски, которые в данный момент перемещены в центр обслуживания (maintenance center)
    • -r отображает конфигурацию RAID (дисковые группы, диски, информация о ходе запущенных процессов на дисках (ребилд, обнуление и т.п.), статус диска (spare/parity/dparity))
    • -s Spare диски
    • -S Размер занимаемого пространства агрегатом
  • create – создать аггрегат
  • add – добавить дисков к агрегату
  • rename – переименовать агрегат
  • offline/online
  • destroy – уничтожить (требует перевода в offline)
  • show_space – показывает использование пространства на aggreate, WAFL reserve, overheads
• disk – управление физическими дисками
  • show – показать информацию по владельцам дисков
    • -n – показать неассоциированные диски (без овнера)
    • -v – показать все имеющиеся диски
    • -a – показать диски, имеющие владельца
  • assign  – ассоциировать диск с владельцем – текущим контроллером (по умолчанию, включен параметр disk.auto_assign и каждые 10 мин система проверяет не ассоциированные диски), пример disk assign 0a.00.20 0a.00.21
  • maint –  статус maintenance тестов дисков
    • status
  • zero spares – пописать диски нулями
  • fail – зафэйлить диск насильно (применимо только к используемым в группах дисках)
  • unfail – восстановить диск (только в advanced режиме)
  • remove – подготавливает диск к физическому удалению (если диск ассоциирован – ругнется в лог)
  • replace – замена диска (копирование данных с одного на другой) 
  • sanitize – управление процессами многократной очистки дисков (требует лицензии) 
• df – отображение информации о дисковом пространстве (без параметров – отображает место на томе)
  • -h в человекопонятном виде
  • -i Отображает использование inode на томе
  • -A Отображает степень занятости aggregate
• maxfiles – управляет количеством inodes на том
• ndmpcopy /vol/vol0/qtree1 /vol/vol1/qtree1 – Копирование данных с тома на том, средствами самой системы хранения, при помощи протокола  NDMP
• qtrees – управление qtree
  • create – создание
  • stats – отображает количество NFS/CIFS операций
    • -z – сброс счетчика
  • status – отображение статуса qtree
    • -i – отображает ID qtree ресурса, который используется для идентификации (например, в syslog сообщениях)
  • delete – удаляет qtree (только из advanced режима)
• quota – вправление дисковыми квотами, согласно записей в файле /etc/quotas
  • on volume – включает механизм квоты на разделе
  • off volume – выключает квоты
  • resize volume  – изменяет значения квот
  • report – сообщает значения квот и использованного места для всех томов и qtree для каждого пользователя и группы
• vol – управление томами
  • create <volname> <aggrname> <size> – создание тома volname на агрегате aggrname с размером size
  • container  <volname> – отображение, в каком агрегате размещен текущий volname
  • options – отображение\изменение параметров раздела
  • size <volname> [+|-]<size> – изменение размера раздела volname
  • status – отображение информации о томе
    • -f информации о дисках в статусе fail
    • -F занимаемое пространство данным volume в агрегате (реально занятые/записанные данные)
    • -r – информация о конфигурации RAID в разрезе использования агрегатов, дисковых групп, дисков
    • -s информация о spare дисках
    • -S занимаемое пространство внутри volume (включая, место занимаемое снапшотами/snapshot reserve/, user data, file system metadata, and inodes)
  • offline/online – выключает\включает том. (делает не\доступным для обращений чтения\записи)
  • destroy – уничтожить (требует перевода в offline, восстановлению не подлежит) 

Команды управления протоколами (SAN\NAS)

• cifs – набор команд для управления протоколом CIFS 
  • setup – устанавливает и настраивает cifs для использования
  • shares – управление ресурсами cifs
  • access – управляет листами контроля доступа к шарам cifs
• exportfs – управление NFS экспортами, перечисленными  в /etc/exports
  • -a – только экспортировать все файловые системы, перечисленные /etc/exports
  • -r – экспортировать и удалить экспорты в соответствии с /etc/exports
• fcadmin команда управления адаптерами Fibre Channel
  • device_map  Показывает, где какой диск в FC полках
• fcp – управление службой, управляющей FCP
  • nodename – отображение WWNN
  • show initiator – отображение информации о FC инициаторе
  • start – запуск
  • stop – остановка
  • status – статус
  • stats – статистика FC target адаптеров
• ftp stat  – команда для мониторинга статистики FTP протокола
  • -z – сброс статистики
• httpstat – команда просмотра статистики HTTP сервера
• igroup – команда для управления initiator group
  • create  – создание igroup на контроллере
• iscsi – команда управления протоколом iSCSI
  • initiator show – Показывает подключенные к СХД iscsi initiators
• lun – Команда для управления LUN
  • create – создает LUN для iscsi или fcp
  • map – устанавливает соответствие LUN для igroup
  • stats – отображает статистику утилизации по каждому lun
    • -o – более расширенный режим отображения статистики
  • show – отображает статус LUN (lun_path, size, online/offline state, shared state)
    • -m  Отображает информацию о lun mapping (lun_path to initiator_group)
• nfs – команда управления службой NFS
  • on – включает NFS подсистему
  • off – выключает NFS подсистему
  • setup – запуск мастера установки NFS
  • status – отображение статуса службы
• nfsstat – отображение статистики NFS и RPC (Remote Procedure Call) с момента последней перезагрузки или обнуления
  • -d отображает некоторые дополнительные колонки (подробней – в man)
  • -z обнуляет счетчики
  • -l отображает статистику по клиентам
• nfs_hist [-z] отображает статистику задержек операций nfs (латентность) с последней перезагрузки (-z обнуляет счетчики)
• sftp stat – команда мониторинга статистики SFTP протокола
  • -z – сброс статистики

 Команды управления различными технологиями

Не нашел другого названия для раздела ))

• cf – управление процессами takeofer и giveback в кластере  High Availability паре
  • status – показывает статус кластера
  • takeover – переносит на себя ресурсы кластерного партнера
  • giveback – возвращает ресурсы кластерного партнера
• snap – команда управления копиями снапшотов
  • create <volname> <snapname> – создает снапшот  snapname на томе volname
  • delta – информация о пространстве, занимаемом снапшотами
  • list – построчно показывает список всех снэпшотов на томах  или агрегатах (при добавлении опции -A)
  • reclaimable <volname> <snapname> – информация о возможном освобождении пространства при удалении снапшота
  • sched  – назначает расписание создания снэпшотов
  • reserve <volname> <percentage> – показывает/устанавливает резервирование места под снэпшоты на томе volname в процентах percentage
• ndmpcopy <src-path> <dst-path> – запускает передачу дерева файловой системы с src-path в dst-path
• ndmpd – управление службой ndmp
  • status – показывает статус ndmpd
  • killall – прерывает все процессы ndmpd
• snapmirror – команда для управления SnapMirror. Зеркалирование томов и qtree
  • abort  destination – Остановить текущие синхронизации с  destination
  • initialize – инициализирует первоначальную репликацию snapmirror
  • update – для асинхронной репликации – обновляет вручную реплику snapmirror, для синхронной репликации – на source создается снапшот, который становится так же доступен на destination
  • resync – ресинхронизация сломанных зеркал snapmirror
  • quiesce destination – завершает текущие синхронизации и приостанавливает связь реплик snapmirror, переводит синхронные синхронизации в асинхронные – приостанавливает.
  • break – разбивает установленные отношения репликации snapmirror и переводит destination том в режим read\write
  • status – показывает статус snapmirror
•  vfiler – команда для управления виртуальными хранилищами Virtual Filers (vfilers)

Разделы команды options

• autosupport.* – настройка автосуппорта
• cf.* – параметры HA конфигурации
• cifs.* – параметры протокола CIFS
• fpolicy.* – параметры File Polycy
• ftpd.* – управление FTP службой
• httpd.* – опции управление службой HTTPD
• interface.blocked.* – блокирование работы протоколов на интерфейсах
• nfs.* – параметры NFS
• sftp.* – опции управления STFP протоколом
• tftpd.* – управление службой TFTP
• timed.* – время по NTP (настройка демона timed)
• telnet.* – параметры telnet доступа
• webdav.* – опции конфигурирования WebDAV доступа

Основные конфигурационные файлы Netapp

• /etc/*.lastgood – файл, имеющий конфигурацию при последней удачной модификации
• /etc/*.default – файлы, содержащие конфигурацию по умолчанию
• /etc/*.bak – файлы, содержащие резервную копию после глобальных изменений (например, запуск setup)
• /etc/ad – каталог для кэширования GPO скриптов, когда на хранилище задействован CIFS с подключением к AD
• /etc/cifs_homedir.cfg – файл сопоставления домашних каталогв пользователей
• /etc/ftpusers – файл для блокировки пользователей для доступа по FTP
• /etc/hosts – классический файл hosts (текстовый файл, содержащий базу данных доменных имен и используемый при их трансляции в сетевые адреса узлов)
• /etc/log/httpd.log – файлы логов HTTP
• /etc/log/ftp.* – файлы логов FTP и HTTP служб
• /etc/log/sftp.cmd.* – файл логов SFTP (появляются только после включения sftp.log_enable)
• /etc/messages – файл размещения логов службы сислог
• /etc/registry – Файл, хранящий настройки, заданные с помощью команды options (прямо таки название намекает…так и хочется запустить regedit)
• /etc/registry.bck,.lastlog,.default – файлы, содержащие базовую конфигурацию в разных версиях
• /etc/qual_devices – список поддерживаемых HDD (в 8.2 я такого не нашел, хотя в man о нем имеется упоминание)
• /etc/rc – классический rc файл, как во FreeBSD. Некоторые команды для исполнения при загрузке необходимо записывать в него вручную  (такие как ifconfig, ifgroup, vlan …), некоторые команды при выполнении в консоли автоматом туда добавляются (например options dns.enable off автоматом туда прописался). Administration guide рекомендует использовать следующий порядок команд в файле:

hostname system_name
ifgrp commands
vlan commands
ifconfig commands
vfiler commands
route commands
[any other commands]

• /etc/serialnum – файл с инфой о серийном номере (?)
• /etc/sshd/ssh_host_rsa_key и ssh_host_dsa_key RSA и DSA ключи шифрования.
• /etc/nsswitch.conf – типичный файл настройки Neme Service Switch
• /etc/quotas – описание квот/лимитов для различных объектов хранилища
• /etc/syslog.conf – по умолчанию отсутствует. Умолчанительнй конфиг смотреть или в man или в system manager. Для бОльшей информации смотрите System Administration Guide. По умолчанию, файл отсутствует. Рядом лежит пример /etc/syslog.conf.simple. Создавать свой либо руками, либо через систем манаджер.
• /etc/usermap.cfg – файл маппинга Windows и UNIX пользователей
• /etc/zoneinfo – таймзоны

Резюме

Итак, сегодня я составил список базовых команд. По возможности, заметка будет обновляться и дополнятся описанием команд. В manpages имеется более полная информация о приведенных командах. Ниже есть ссылка на manpages от NetApp.

Ссылки

http://www.netapp.com/us/library/ – библиотека документации NetApp
http://twistedminds.ru/2012/06/setting-up-fas2040-part-1/ – набор статей с информацией о начальной настройке FAS2040
http://wiki.rsu.edu.ru/wiki/СХД – достойная инструкция о настройке СХД на примере NetApp.
https://library.netapp.com/ecmdocs/ECMP1196890/html/index.html – DataONTAP Manual Pages
http://blog.aboutnetapp.ru/archives/526 – статья от romx о пакетном фильтре pktt
http://blog.aboutnetapp.ru/archives/559 – пример настройки syslog.conf для отправки syslog сообщений на удаленный хост
http://www.wafl.co.uk/ – отличный блог с информацией о командах, технологиях NetApp, Vmware 

Upd 2014.03.20: добавил – команды управления FCP
Upd 2018.05.15: добавил – команды управления физическим пространством

С Уважением, Mc.Sim!

---

Теги: NetApp, основы