Error cannot flash ir firmware over it firmware

Прошивка Avago SAS 9300-8i Host Bus Adapter через UEFI

Имеем железку Avago SAS 9300-8i HBA. На ней стоит прошивка «IT» от 16 года. Начитался, что если поставить прошивку «IR», то можно контроллер обучить работать с RAID. Проверим. Если не получится — обновим «IT» до последней версии.

Качаем прошивку

Прежде всего, нужно найти прошивку. Ищем здесь:

На текущий момент нашлась 9300_8i_Package_P16_IR_IT_FW_BIOS_for_MSDOS_Windows, качаем.

Прошивать будем через UEFI, поэтому качаем ещё один файлик — Installer_P14_for_UEFI.

Из всего этого добра нам понадобятся только эти файлы:

• sas3flash.efi — прошивальщик под UEFI.
• mpt3x64.rom — BIOS контроллера UEFI. Я использовал Unsigned версию.
• mptsas3.rom — BIOS контроллера Legacy.
• SAS9311_8i_IR.bin — прошивка IR.
• SAS9300_8i_IT.bin — прошивка IT.

Число 9311 в названии прошивки IR смущает, возможно, она не пойдёт на нашем контроллере.

Подготовка флешки

• Берём флешку, форматируем её средствами винды в FAT32.
• Копируем на флешку вышеуказанные файлы.

Вставка флешки

Простая операция вставки флешки через KVM вызвала проблемы. Сервер Supermicro.

Отключаем видимость контроллера в BIOS

При загрузке жмём Ctrl +C и попадаем в утилиту Avago Technologies Config Utility.

Проваливаемся по Enter в контроллер и устанавливаем видимость «OS Only».

Загружаемся в EFI Shell

Поскольку на нашем сервере Supermicro есть Built-in EFI Shell, то будем им пользоваться. При загрузке нажимаем DEL, попадаем в BIOS и выбираем в Boot Device — Built-in EFI Shell:

Сохраняемся, проверяем что флешка вставлена:

Перезагружаем сервер в EFI Shell:

Просмотреть список примонтированных устройств:

Мы видим что наша флешка нашлась как blk0 и примонтировалась как hd51a0h0b0b с алиасом fs0.

Переходим внутрь флешки:

Смотрим список содержимого с помощью ls или dir:

Файлики доступны. На скрине у меня нет SAS9300_8i_IT.bin, это не страшно. Флешку можно вытащить, скопировать туда файлик и примонтировать обратно без перезагрузки сервера.

Прошивка

Посмотрим текущие настройки контроллера:

• Текущая версия контроллера 15.00.00.00 (2016.11.17).
• SAS Address — 500605B-0-0CDA-35A0
• Firmware Product ID — IT
• Версия прошивки (Firmware Version) 15.00.02.00.
• Версия BIOS Legacy (BIOS Version) 08.35.04.00
• Версия BIOS UEFI (UEFI BSD Version) — нет вообще.

Для начала установим UEFI BSD:

00CDA35A0 — это последние 9 символов SAS Address без дефисов. Символы HEX от 0 до F.

Flash BIOS Image Successful. Это хорошо.

Дальше ставим IR прошивку контроллера:

Firmware Image Validation Failed! Ну вот, а счастье было так возможно. Судя по описанию ошибки наш чип не поддерживает эту прошивку, печаль. Ну тогда хотя бы попытаемся обновить прошивку IT до последней:

Firmware Flash Successful. Отлично. Прошиваем BIOS Legicy:

Flash BIOS Image Successful. Это хорошо. Проверяем версию sas3flash.efi -list:

Все остальные версии тоже обновились. Перезагружаемся:

Не забываем в BIOS установить нужный Boot Device.

И всё же.

*When flashing an 12G HBA (SAS 9300 family) with IR mode firmware provided in the same package, named 9311, SAS3Flash returns the following error:

ERROR: NVDATA Image does not match Controller Subsystem ID!
ERROR: No compatible NVDATA Image(s) found!
Firmware Image Validation Failed!

Resolution:
Using DOS or EFI SAS3Flash version 10.00.00.01 or higher with following command string

sas3flsh –o –e -6
sas3flsh –o –f -b -nossid

EFI:
sas3flash –o –f -nossid

Cannot Flash IR Firmware over IT Firmware!

Вот оно как. Значит, снесём IT Firmware.

Внимание — дальше нельзя перезагружать сервер, чтобы не превратить контроллер в кирпич!

Стираем все прошивки:

Ставим прошивку и BIOS Legacy:

Выдыхаем, стираем пот. Ставим BIOS UEFI, также как было выше:

Смотрим что получилось:

Слева то что было. Спава то что стало.

Firmware Product ID — IR! перезагружаемся.

Первый раз даём перезагрузиться полностью, чтобы определились все устройства. Попадаем в EFI Shell, снова ребутаемся:

При загрузке жмём Ctrl +C и попадаем в утилиту Avago Technologies Config Utility.

Видим, что всё в порядке, смотрим далее:

Появилась опция RAID Properties. План перевыполнен.

Источник

Supermicro — используем слоты Rear 2.5 x 2 как зеркало под ОС

Имеется сервер Supermicro 4U в составе CSE-846BE16-R920B / MBD-X10DRi / 2xIntel Xeon E5-2660 V.4 / 4×32 GB DDR4 ECC REG / 24x6TB 7200 RPM / SAS 9300-8i Host Bus Adapter / LSI CBL-SFF8643-8087-10M (LSI00402) / MCP-220-82609-0N / Rear 2.5 x 2 Hot swap HDD / Intel X520-DA2.

И серверная полка в составе CSE-846BE1C-R1K03JBOD / 2282600-RACK-E-HDmSAS-HDmSAS-2M / 24x6TB 7200 RPM.

Простым языком конфигурация следующая:

Сервер размером 4 юнита, в него воткнуты:

• спереди 24 жёстких диска HDD 3.5′ объёмом 6 Тб каждый,
• внутри материнка X10DRi,
• два процессора,
• четыре плашки памяти по 32 Гб,
• Host Bus Adapter SAS 9300-8i — кабелем LSI соединяется с полкой, её описание ниже,
• сзади два слота под 2.5′ жёсткие диски.

Полка размером 4 юнита, в ней:

• спереди 24 жёстких диска HDD 3.5′ объёмом 6 Тб каждый,
• полка подключена LSI кабелем к серверу.

Вот как оно выглядит вместе:

Идея в следующем: 2 слота сзади сервера использовать под систему, объединив для отказоустойчивости в зеркало — RAID1. Слоты:

1. объединить два Rear винта в зеркало,
2. сделать их загрузочными,
3. установить ОС, загрузиться.
4. Убедиться, что большие диски по 6 Тб видны в ОС.

Первые грабли — Legacy

Я уже имел дело с серверами Supermicro, поэтому сразу предупреждаю, встроенный софтварный RAID контроллер на материнке управляется только в режиме Legacy. Это свойственно не только серверам Supermicro. Как минимум, у нового микросервера HPE Proliant Microserver Gen10 тот же недостаток. Итак, нужно в BIOS переключить Boot Mode в режим Legacy.

Вытаскиваю все винты, чтобы не мешали.

Сервер загружается, видим заставку, ждём надписи «Press to run Setup»:

Жмём DEL, должна появиться надпись «Entering Setup. «:

Отдыхаем и ждём окна BIOS.

Переходим во вкладку Boot, переключаем режим Boot Mode Select на LEGACY. Сохраняем изменения, перезагружаем сервер.

Разбираемся с жёсткими дисками

Модель материнской платы, как показывает IPMI, оказалась X10DRi-T. На страничке производителя: https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRi-T.cfm

Из описания следует, что мать имеет на борту два SATA-контроллера. Визуально было обнаружено, что Rear слоты подключены к первому, но это можно и в BIOS посмотреть. Переключить на второй SATA-контроллер вполне реально, но мне не нужно.

SAS винты контроллерами SATA не поддерживаются. Пробуем SATA винты. В качестве теста использовались две модели жёстких дисков:

• Intel SSD DC S3510 Series 480 Gb (HPE)
• Western Digital HDD WD10JFCX

Сразу скажу — оба вида жёстких дисков заработали. Далее в статье работа ведётся только с HDD WD10JFCX от Western Digital, которые мы и будем объёдинять в зеркало.

Rear слоты уже имеют салазки, прикручиваем их к винтам:

Втыкаем для начала один винт:

Мне пока просто интересно, увидит ли сервер винт?

Также подключаем все 48 винтов по 6 Тб.

Вторые грабли — слишком много винтов в BIOS

После включения сервера с одним Rear винтом нам снова нужно попасть в BIOS.

В процессе загрузки мы видим много винтов TOSHIBA:

Это нормально, это всё большие 6 Тб винты.

В процессе загрузки жмём DEL и входим в BIOS, переходим во вкладку Boot:

Видим два изменения:

• Boot Option #6 теперь видит винт «Hard Disk :#0100 ID0. «
• Появилась опция Hard Disk Drive BBS Priorities

Смотрим на наш «Hard Disk. «:

Toshiba — это не Rear, нам нужно грузиться с других винтов.

Кликаем на «Hard Disk Drive BBS Priorities»:

И вот они — грабли. BIOS видит первые 16 жёстких дисков, остальные просто отсутствуют. Rear даже близко нет.

Исправить ситуацию можно, для этого сделать так, чтобы BIOS не видел все винты контроллера SAS 9300-8i. У этого SAS-контроллера есть свой BIOS, с блэкджеком и куртизанками.

Настройка контроллера SAS 9300-8i

Для доступа к настройкам SAS-контроллера ждём появления экрана:

Утилита управления SAS-контроллером называется Avago Config Utility. Для входа нажимаем Ctrl+C:

Please wait, invoking SAS Configuration Utility.

Открывается синий экран, курсор на контроллере SAS9300-81. Кликаем Enter:

Ждём, открывается окно конфигурации контроллера:

На фото плохо видно, но нас интересует пункт Boot Support, приближу:

По умолчанию стоит значение «Enabled BIOS & OS», кнопками плюс и минус меняем его на «Enabled OS only»:

Нажимаем ESC, выбираем «Save changes then exit this menu»:

Потом «Exit the Configuration Utility and Reboot»:

Перезагружаем сервер. На самом дела в этой утилите можно ещё много чего сделать, назначить, например, диск загрузочным, но мне это не требуется.

Снова жмём DEL и входим в BIOS во вкладку Boot:

Видим, что винты Toshiba пропали, вместо них в Boot option #6 — «Hard Disk : WDC WD10J. «, похоже на правду, кликаем на него:

Да, судя по серийнику, это именно тот 2.5′ Rear диск, который мы воткнули в сервер. Теперь мы убедились. что винт подходит и читается сервером. Следующая наша задача, сделать из двух Rear дисков RAID.

RAID1

Переходим во вкладку Advanced:

Нас интересует пункт SATA Configuration. Это раздел конфигурирования встроенного в материнку SATA контроллера.

Чуть ниже есть ещё один пункт sSATA Configuration. sSATA расшифровывается просто — Second SATA Controller. Меня он не интересует, поскольку Rear диски подключены к первому SATA контроллеру.

Переходим в SATA Configuration. Конфигурируем.

• SATA Controller — Enabled
• Configure SATA as — RAID
• SATA/sSata RAID Boot Select — SATA Controller

В SATA Port 0 видим наш диск Western Digital. Выше я рассказывал, что пробовал SSD диски. Для них можно сменить SATA Device Type с «Hard Disk Drive» на «Solid State Drive» (Для HDD не меняйте!):

Не знаю, что это даст, но хуже не будет точно. Поскольку я остановил выбор на WD HDD дисках, то оставляю «Hard Disk Drive» как было по умолчанию.

Сохраняем все изменения в BIOS и выключаем сервер. Вставляем в него второй Rear винт:

Включаем сервер. В процессе загрузки мелькает новое окно, ловим его:

Для входа в раздел конфигурирования RAID нажимаем Ctrl+I (ай, i). Открывается окно Intel(R) Rapid Storage Technology enterprise — SATA Option ROM:

Далее настраиваем зеркало из двух винтов. Нажимаем единицу — Create RAID Volume:

Указываем Name, я указал RAID1:

Выбираем RAID Level — RAID1(Mirror):

Capacity оставляю максимум, в зеркале размер RAID массива чуть меньше размера одного винта:

Статус массива Normal, инициализация зеркала проходит быстро. Bootable Yes. Выходим — 4:

Перезагружаем сервер, теперь нужно сделать RAID1 загрузочным.

RAID1 bootable

Загружаемся в BIOS — DEL. Переходим во вкладку Boot. В Boot Option #6 выбираем Intel RAID1:

Отдельные винты в опциях загрузки пропали, но их можно увидеть в Advanced > SATA Configuration:

Если второй SATA контроллер не нужен, можно ему сделать Disabled:

Для дальнейшей работы нам понадобится настроить IPMI (Redfish, BMC).

Настройка IPMI (Redfish, BMC) в BIOS

Для настройки IPMI на сервере достаточно вписать IP адрес и конфигурацию сети в BIOS. Переходим во вкладку IPMI:

Переходим в BMC Network Configuration:

Выбираем Update IPMI LAN Configuration:

Дальше настраиваем конфигурацию сети:

Сохраняем и перезагружаемся:

Вот тут примечание — после первой перезагрузки IP адрес не меняется. Пришлось чуть позже перезагрузиться второй раз:

Вот теперь IP адрес нужный. Теперь можно через IPMI подключиться к консоли сервера, примонтировать ISO образ и установить ОС.

А вот для настройки IPMI на полке понадобятся дополнительные действия. По умолчанию там настроен DHCP — нужно подключить IPMI в сеть с DHCP сервером, поймать выданный IP адрес, зайти по нему на web-интерфейс IPMI и сменить IP адрес и сетевые настройки там. На полке расширения есть кнопка reset, если вы что-то напортачите, мне не пригодилась.

Итак, IP адрес у IPMI есть. Подключаем патчкордом сервер к сетевой карте своего компьютера. Настраиваем на своём компьютере IP адрес из той же подсети, что и IPMI:

Заходим на сервер в IPMI через web-интерфейс:

• Логин Supermicri IPMI по умолчанию ADMIN.
• Пароль для Supermicri IPMI по умолчанию ADMIN.

Регистр имеет значение.

Установка ОС

Запускаем консоль. Remote Control > Console Redirection > Launch Console:

Видим экран сервера:

Монтируем ISO образ.

Virtual Media > Virtual Storage:

Выбираем тип — ISO File:

Затем Open Image:

Кликаем Plug In:

Ok. Ключи можно посмотреть в Hotkey Settings:

Перезагружаем сервер F6 (передаёт Ctrl+Alt+Del):

Загружаемся в ISO образа:

Устанавливаем ОС, это уже вы сами. Как пример: Установка Oracle Linux 7.5

После установки ОС можно загрузиться и увидеть наше зеркало уже в Linux:

ОС успешно установилась на зеркало. Система готова к эксплуатации.

Данная статья писалась два дня. Некоторые её части были выделены в отдельные статьи, могут пригодиться:

Источник