NX-OS upgrade – Ntwrk Notes

В статье представлены особенности, а так же сам процесс обновления операционной системы Cisco NX-OS с использованием высокоуровневой процедуры обновления ISSU. Представленные принципы и подходы к обновлению операционной системым, могут быть использованы относительно обновления любой операционной системы сетевых устройствах Cisco Systems.

Операционная система всё ещё развивается, не все необходимые функции доступны на данный момент, поэтому обновлятся следует до самой свежей версии, где реализован необходимый вам функционал.

1. Введение в NX-OS

Версия операционной системы NX-OS интерпретируется следующим образом

Посмотрим какая версия используется сейчас

dsw1-dc1# sh version | include kickstart:|system:
   kickstart: version 5.0(3)N1(1c)
   system:   version 5.0(3)N1(1c)

dsw1-dc1# sh version | include kickstart:|system:

kickstart: version 5.0(3)N1(1c)

system: version 5.0(3)N1(1c)

Операционная система NX-OS делится на два файлы

kickstart, которая содержит ядро Linux (kernel), базовые драйвера (basic drivers) и первичную файловую систему (initial file system);
system, содержит системное программное обеспечение (system software) и инфраструктурный код (infrastructure code).

Допустимо обновить только system, но настоятельно рекомендуется выполнять полноценное обновление, включающее как system, так и kickstart.
Сам процесс обновление операционной системы NX-OS имеет специальное название – In-Service Software Upgrades (ISSU) и имеет как минимум одно, значительное отличие от обновления операционных систем IOS/CatOS – во время обновления Control Plane недоступен, но Data Plane (передача пакетов) продолжает выполнятся, что гарантирует доступность сервисов во время обновления!
На самом деле, для беспрерывной передачи пакетов во время обновления, необходимо выполнить настолько много требований и рекомендаций, что это может быть частью реальности только при обновлении между Platform Maintenance Release или Platform Rebuild.

Перед началом обновления мы должны иметь явную цель, которая будет достигнута в результате обновления версии:

новый, необходимый нам функционал, либо существенные изменения существующего, используемого вами или способного позволить его использовать в рамках вашей архитектуры;
исправление проблем в работе используемого вами функционала, либо исправления позволяющие начать использовать определённые функции;

На момент написания статьи, последней доступной версией является версия 5.1.3.N1.1, в которой появился Enhanced vPC (EvPC), увеличивающий плюсы схемы подключения Dual-homed FEX. Что является для меня достаточным, чтобы выполнить обновление.

2. Обновление

2.1. Сбор информации о доступной версии операционной системы

Перед началом обновления следует ознакомиться со всей доступной документацией относительно планируемого к использованию релиза операционной системы.

Release Notes – полноценная информации о релизе, на основании которой должно приниматься решение о возможности обновления до указанной версии.
Security Advisories – бюллетени безопасности, на основании которых можно отказаться от обновления, если известные проблемы в безопастности релиза идут в разрез в используемой политикой безопасности компании (или вашими личными убеждениями)

Значительное влияние на принятие положительного решения о необходимости и возможности обновления должны оказывать следующие разделы Release Notes

Limitations (Ограничения)
Open Caveats (Открытые предостережения)

Если они вас не устраивают, следуют дождаться обновления ветки, которые выходят с завидным постоянством.

Представленный Release Notes включает в себя список изменений только относительно предыдущей версии, поэтому, если вы хотите ознакомится со всеми изменениями и нововведениями относительно вашей текущей версии, следует ознакомится с Release Notes всех промежуточных выпусков.

Если в результате ознакомления с доступной документацией принято положительное решение, можно приступать к подготовке к непосредственному обновлению.

2.2. Подготовка к обновлению

Важно: что для ветки 5.1 существует отдельное руководство по установке и обновлению операционной системы и мы будем следовать именно его указаниям.

Начнём с раздела Upgrade Guidelines (Методические рекомендации по обновлению)

Убедитесь что в данный момент никто не выполняет конфигурацию оборудования, все необходимые изменения, в том числе физические должны быть выполнены заранее.
Никакое из запланированных заданий касающихся этого устройства не должны совпадать по времени с моментом обновления данного устройства.
Отключение устройства во время обновления может повредить образ операционной системы, поэтому следует обеспечить резервирование питания устройства.
Рекомендуется выполнять обновления подключившись к устройству через специальный out-of-band порт управления – mgmt0, во избежании проблем с доступом к CLI устройства.
Перед непосредственным обновлением, рекомендуется расположить файлы на устройстве хранения обновляемого устройства и выполнить проверку готовности этих файлов к обновлению данного устройства командой show install all impact.
Данная команда покажет, какое влияние окажет использование этих файлов при обновлении системы, с указанием вероятных отказов или прерываний в предоставлении сервисов, включая причины данных явлений.

Произведём загрузку файлов-образов необходимой версии операционной системы с официального сайта cisco.com

n5000-uk9-kickstart.5.1.3.N1.1.bin
n5000-uk9.5.1.3.N1.1.bin

Расположим файлы на нашем FTP/TFTP-сервере, в директории доступной для чтения с нашего устройства.

2.3. Загрузка файлов на устройство

2.3.1. Исходные данные

имя устройства: dsw1-dc1
IP-адрес TFTP-сервера: 10.0.0.1
исходная директория расположения файлов-образов операционной системы: tftp://10.0.0.1/nx-os/5.1/
целевая директория расположения файлов-образов операционной системы на обновляемом устройстве: bootflash://sup-local/
имена файлов для загрузки: n5000-uk9-kickstart.5.1.3.N1.1.bin и n5000-uk9.5.1.3.N1.1.bin
общий размер файлов: 173 Мб

2.3.2. Выполнение загрузки

Мы подключены к устройству через выделенный management-порт с именем в системе mgmt0, находящийся в VRF management.
Если доступ осуществляется через иной порт, может понадобиться указать явным образом IP-адрес какого интерфейса будет использоваться в роли источника запросов нашего устройства

dsw1-dc1(config)# ip tftp source-interface loopback 0

1	dsw1-dc1(config)# ip tftp source-interface loopback 0

Сохраним на TFTP-сервер текущую версию операционной системы
(красивый прогресс-бар подтверждает выполнение процедуры и уже поучавствовавший в передаче размер данных)

dsw2-dc1# copy bootflash://sup-local/n5000-uk9-kickstart.5.0.2.N2.1.bin tftp://10.0.0.1/nx-os/5.0/ vrf management
Trying to connect to tftp server......
Connection to Server Established.
[############             ]         6.65MB
TFTP put operation was successful

dsw2-dc1# copy bootflash://sup-local/n5000-uk9-kickstart.5.0.2.N2.1.bin tftp://10.0.0.1/nx-os/5.0/ vrf management

Trying to connect to tftp server......

Connection to Server Established.

[############ ] 6.65MB

TFTP put operation was successful

Сохраним на TFTP-сервер текущую версию конфигурации

dsw1-dc1# copy running-config tftp://10.0.0.1/cfg/dc1/dsw1/ vrf management
Enter destination filename: [dsw1-dc1-running-config] 
.. вывод пропущен ...
TFTP put operation was successful

dsw1-dc1# copy running-config tftp://10.0.0.1/cfg/dc1/dsw1/ vrf management

Enter destination filename: [dsw1-dc1-running-config]

.. вывод пропущен ...

TFTP put operation was successful

Убедимся в достаточности свободного места под файлы

dsw2-dc1# dir | include free
1351081984 bytes free

1 2	dsw2-dc1# dir \| include free 1351081984 bytes free

Выполним загрузку файлов на конечное устройство

dsw1-dc1# copy tftp://10.0.0.1/nx-os/5.1/n5000-uk9.5.1.3.N1.1.bin bootflash://sup-local/ vrf management
.. вывод пропущен ...
[########                     ]         21.13MB
TFTP get operation was successful
dsw1-dc1# copy tftp://10.0.0.1/nx-os/5.1/n5000-uk9-kickstart.5.1.3.N1.1.bin bootflash://sup-local/ vrf management
.. вывод пропущен ...
[########                     ]         30.64MB
TFTP get operation was successful

dsw1-dc1# copy tftp://10.0.0.1/nx-os/5.1/n5000-uk9.5.1.3.N1.1.bin bootflash://sup-local/ vrf management

.. вывод пропущен ...

[######## ] 21.13MB

TFTP get operation was successful

dsw1-dc1# copy tftp://10.0.0.1/nx-os/5.1/n5000-uk9-kickstart.5.1.3.N1.1.bin bootflash://sup-local/ vrf management

.. вывод пропущен ...

[######## ] 30.64MB

TFTP get operation was successful

2.3.3. Проверка готовности системы к обновлению

Существует ряд операций которые рекомендуется выполнить, чтобы убедиться, что в процессе обновления и после него не возникнет ряд неполадок

Проверка STP на наличие потенциальных проблем

dsw1-dc1# show spanning-tree issu-impact 
For ISSU to Proceed, Check the Following Criteria :
 1. No Topology change must be active in any STP instance
 2. Bridge assurance(BA) should not be active on any port (except MCT)
 3. There should not be any Non Edge Designated Forwarding port (except MCT)
 4. ISSU criteria must be met on the VPC Peer Switch as well
Following are the statistics on this switch
No Active Topology change Found!
 Criteria 1 PASSED !!
No Ports with BA Enabled Found!
 Criteria 2 PASSED!!
No Non-Edge Designated Forwarding Ports Found!
 Criteria 3 PASSED !!
ISSU Can Proceed! Check Peer Switch.

dsw1-dc1# show spanning-tree issu-impact

For ISSU to Proceed, Check the Following Criteria :

1. No Topology change must be active in any STP instance

2. Bridge assurance(BA) should not be active on any port (except MCT)

3. There should not be any Non Edge Designated Forwarding port (except MCT)

4. ISSU criteria must be met on the VPC Peer Switch as well

Following are the statistics on this switch

No Active Topology change Found!

Criteria 1 PASSED !!

No Ports with BA Enabled Found!

Criteria 2 PASSED!!

No Non-Edge Designated Forwarding Ports Found!

Criteria 3 PASSED !!

ISSU Can Proceed! Check Peer Switch.

В данном случае потенциальных проблем не обнаружено, но наиболее частой ошибкой может быть участие некоторых портов нашего устройства в STP-дереве (!). Это может показаться странным, но такие порты должны быть выставлены в режим edge, как минимум на время проведения обновления, чтобы устройство не могло учавствовать в схождении дерева, в случае отказа какого-либо устройства или канала во время выполнения обновления. Режим выставляется следующим образом

dsw1-dc1(config)# interface Ethernet 1/15
dsw1-dc1(config-if)# spanning-tree port type ?
 edge     Consider the interface as edge port (enable portfast)
 network  Consider the interface as inter-switch link
 normal   Consider the interface as normal spanning tree port
dsw1-dc1(config-if)# spanning-tree port type edge

dsw1-dc1(config)# interface Ethernet 1/15

dsw1-dc1(config-if)# spanning-tree port type ?

edge Consider the interface as edge port (enable portfast)

network Consider the interface as inter-switch link

normal Consider the interface as normal spanning tree port

dsw1-dc1(config-if)# spanning-tree port type edge

Теперь проверим файлы операционной системы на готовность быть развёрнутыми, на совместимость с используемыми модулями

dsw1-dc1# show install all impact system bootflash:///n5000-uk9.5.1.3.N1.1.bin kickstart bootflash:///n5000-uk9-kickstart.5.1.3.N1.1.bin
Verifying image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin for boot variable "kickstart".
 [####################] 100% -- SUCCESS
Verifying image bootflash:/n5000-uk9.5.1.3.N1.1.bin for boot variable "system".
 [####################] 100% -- SUCCESS
Verifying image type.                                                                                                              [####################] 100% -- SUCCESS
Extracting "system" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.
 [####################] 100% -- SUCCESS
Extracting "kickstart" version from image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin.
 [####################] 100% -- SUCCESS
Extracting "bios" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.
 [####################] 100% -- SUCCESS
Extracting "fexth" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.
 [####################] 100% -- SUCCESS
Performing module support checks.
 [####################] 100% -- SUCCESS
Notifying services about system upgrade.
 [####################] 100% -- SUCCESS
Compatibility check is done:
 Module  bootable          Impact  Install-type  Reason
 ------  --------  --------------  ------------  ------
      1       yes      disruptive         reset  Some LACP ports not in steady state or operating in 'rate fast' mode.
    100       yes      disruptive         reset  Some LACP ports not in steady state or operating in 'rate fast' mode.
Images will be upgraded according to following table:
 Module       Image         Running-Version             New-Version  Upg-Required
 ------  ----------  ----------------------  ----------------------  ------------
      1      system            5.0(3)N1(1c)             5.1(3)N1(1)           yes
      1   kickstart            5.0(3)N1(1c)             5.1(3)N1(1)           yes
      1        bios      v3.5.0(02/03/2011)      v3.5.0(02/03/2011)            no
    100       fexth            5.0(3)N1(1c)             5.1(3)N1(1)           yes
      1   power-seq                    v3.0                    v3.0            no
      3   power-seq                    v2.0                    v2.0            no
      1          uC                v1.1.0.1               v1.0.0.14            no
Additional info for this installation:
 --------------------------------------
 Remove QoS & ACL config on L3 interfaces and SVIs if any
LACP: Upgrade will be disruptive as 0 switch ports and 6 fex ports are not upgrade ready!!

dsw1-dc1# show install all impact system bootflash:///n5000-uk9.5.1.3.N1.1.bin kickstart bootflash:///n5000-uk9-kickstart.5.1.3.N1.1.bin

Verifying image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin for boot variable "kickstart".

[####################] 100% -- SUCCESS

Verifying image bootflash:/n5000-uk9.5.1.3.N1.1.bin for boot variable "system".

[####################] 100% -- SUCCESS

Verifying image type. [####################] 100% -- SUCCESS

Extracting "system" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Extracting "kickstart" version from image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Extracting "bios" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Extracting "fexth" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Performing module support checks.

[####################] 100% -- SUCCESS

Notifying services about system upgrade.

[####################] 100% -- SUCCESS

Compatibility check is done:

Module bootable Impact Install-type Reason

------ -------- -------------- ------------ ------

1 yes disruptive reset Some LACP ports not in steady state or operating in 'rate fast' mode.

100 yes disruptive reset Some LACP ports not in steady state or operating in 'rate fast' mode.

Images will be upgraded according to following table:

Module Image Running-Version New-Version Upg-Required

------ ---------- ---------------------- ---------------------- ------------

1 system 5.0(3)N1(1c) 5.1(3)N1(1) yes

1 kickstart 5.0(3)N1(1c) 5.1(3)N1(1) yes

1 bios v3.5.0(02/03/2011) v3.5.0(02/03/2011) no

100 fexth 5.0(3)N1(1c) 5.1(3)N1(1) yes

1 power-seq v3.0 v3.0 no

3 power-seq v2.0 v2.0 no

1 uC v1.1.0.1 v1.0.0.14 no

Additional info for this installation:

--------------------------------------

Remove QoS & ACL config on L3 interfaces and SVIs if any

LACP: Upgrade will be disruptive as 0 switch ports and 6 fex ports are not upgrade ready!!

На 6 портах FEX используется LACP в режиме rate normal и проверка полагает, что обновление всё-таки может привести ко временной недоступности сервисов за ними.

Проверить на какие именно LACP-порты ругается ISSU check можно следующей командой

dsw1-dc1# show lacp issu-impact 
For ISSU to Proceed, Check the following:
 1. The port-channel member port should be in a steady state.
 2. Check if any of the port-channel member has fast timer enabled from the remote peer.
The following ports are not ISSU ready
Eth100/1/3  , Eth100/1/4  , Eth100/1/1  , Eth100/1/5  , Eth100/1/2  , Eth100/1/6  ,

dsw1-dc1# show lacp issu-impact

For ISSU to Proceed, Check the following:

1. The port-channel member port should be in a steady state.

2. Check if any of the port-channel member has fast timer enabled from the remote peer.

The following ports are not ISSU ready

Eth100/1/3 , Eth100/1/4 , Eth100/1/1 , Eth100/1/5 , Eth100/1/2 , Eth100/1/6 ,

Придётся смириться, благо доступ к сервисам резервируется через второй Cisco Nexus 5548P.

Проверим совместимость файла обновления system с текущей конфигурацией

dsw1-dc1# show incompatibility system bootflash:///n5000-uk9.5.1.3.N1.1.bin
 No incompatible configurations

1 2	dsw1-dc1# show incompatibility system bootflash:///n5000-uk9.5.1.3.N1.1.bin No incompatible configurations

И последняя рекомендация – удостовериться, что все наши FEX находятся в режиме Online, так как на них так же будет обновлена версия операционной системы

dsw1-dc1# show fex 
 FEX         FEX           FEX               FEX               
Number    Description      State            Model            Serial     
------------------------------------------------------------------------
100        FEX0100                Online     N2K-C2224TP-1GE   HAF1432QMBM

dsw1-dc1# show fex

FEX FEX FEX FEX

Number Description State Model Serial

------------------------------------------------------------------------

100 FEX0100 Online N2K-C2224TP-1GE HAF1432QMBM

Система готова к обновлению операционной системы с версии 5.0(3)N1(1c) до версии 5.1(3)N1(1).

3. Обновление

dsw1-dc1# install all system bootflash:///n5000-uk9.5.1.3.N1.1.bin kickstart bootflash:///n5000-uk9-kickstart.5.1.3.N1.1.bin
Verifying image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin for boot variable "kickstart".
  [####################] 100% -- SUCCESS
Verifying image bootflash:/n5000-uk9.5.1.3.N1.1.bin for boot variable "system".
  [####################] 100% -- SUCCESS
Verifying image type.
  [####################] 100% -- SUCCESS
Extracting "system" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.
  [####################] 100% -- SUCCESS
Extracting "kickstart" version from image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin.
  [####################] 100% -- SUCCESS
Extracting "bios" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.
  [####################] 100% -- SUCCESS
Extracting "fexth" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.
  [####################] 100% -- SUCCESS
Performing module support checks.
  [####################] 100% -- SUCCESS
Notifying services about system upgrade.
  [####################] 100% -- SUCCESS
Compatibility check is done:
  Module  bootable          Impact  Install-type  Reason
  ------  --------  --------------  ------------  ------
  1       yes      disruptive         reset  Some LACP ports not in steady state or operating in 'rate fast' mode.
  100       yes      disruptive         reset  Some LACP ports not in steady state or operating in 'rate fast' mode.
Images will be upgraded according to following table:
  Module       Image         Running-Version             New-Version  Upg-Required
  ------  ----------  ----------------------  ----------------------  ------------
  1      system            5.0(3)N1(1c)             5.1(3)N1(1)           yes
  1   kickstart            5.0(3)N1(1c)             5.1(3)N1(1)           yes
  1        bios      v3.5.0(02/03/2011)      v3.5.0(02/03/2011)            no
  100       fexth            5.0(3)N1(1c)             5.1(3)N1(1)           yes
  1   power-seq                    v3.0                    v3.0            no
  3   power-seq                    v2.0                    v2.0            no
  1          uC                v1.1.0.1               v1.0.0.14            no
Additional info for this installation:
  --------------------------------------
  Remove QoS & ACL config on L3 interfaces and SVIs if any
LACP: Upgrade will be disruptive as 0 switch ports and 6 fex ports are not upgrade ready!!
Switch will be reloaded for disruptive upgrade.
  Do you want to continue with the installation (y/n)?  [n] y
Install is in progress, please wait.
Performing runtime checks.
  [####################] 100% -- SUCCESS
Setting boot variables.
  [####################] 100% -- SUCCESS
Performing configuration copy.
  [####################] 100% -- SUCCESS
Pre-loading modules.
  [This step might take upto 20 minutes to complete - please wait.]
  [*Warning -- Please do not abort installation/reload or powercycle fexes*]
  [#                   ]   0%
  2012 Jan 26 22:05:32 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Image update in progress.
  [#####               ]  20%
  2012 Jan 26 22:11:52 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Im
[####################] 100% -- SUCCESS
Finishing the upgrade, switch will reboot in 10 seconds.
  dsw1-dc1# Shutdown Ports..
  writing reset reason 49,
INIT: Sending processes the TERM signal
Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "vshd" (PID 4479) is forced exit.
Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "u6rib" (PID 4547) is forced exit.
Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "vdc_mgr" (PID 4512) is forced exit.
Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "statsclient" (PID 4562) is forced exit.
Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "smm" (PID 4480) is forced exit.
Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "rpm" (PID 4693) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "res_mgr" (PID 4518) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "npacl" (PID 4524) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "licmgr" (PID 4483) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "l3vm" (PID 4544) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "vlan_mgr" (PID 4579) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "urib" (PID 4548) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "mcastfwd" (PID 4708) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "Radius Daemon" (PID 4684) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "m2rib" (PID 4578) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "callhome server" (PID 4588) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "Cert_enroll Daemon" (PID 4542) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "Security Daemon" (PID 4541) is forced exit.
Jan 26 22:12:14 %TTYD-2-TTYD_ERROR TTYD Error ttyd bad select
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "AAA Daemon" (PID 4543) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "adjmgr" (PID 4573) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "eth_dstats" (PID 4532) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "fs-daemon" (PID 4484) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "icmpv6" (PID 4628) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "idehsd" (PID 4529) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "igmp" (PID 4686) is forced exit.
Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "arp" (PID 4627) is forced exit.
Unexporting directories for NFS kernel daemon...done.
  Stopping NFS kernel daemon: rpc.mountd rpc.nfsddone.
  Unexporting directories for NFS kernel daemon...
  done.
  Stopping portmap daemon: portmap.
  Stopping kernel log daemon: klogd.
  Sending all processes the TERM signal... done.
  Sending all processes the KILL signal... done.
  Unmounting remote filesystems... done.
  Deactivating swap...umount: none busy - remounted read-only
  done.
  Unmounting local filesystems...umount: none busy - remounted read-only
  done.
  mount: you must specify the filesystem type
  Starting reboot command: reboot
  Rebooting...
  Resetting board
  Restarting system.
Argon BIOS v.3.5, Thu 02/03/2011, 05:12 PM
B2
  Version 2.00.1201. Copyright (C) 2009 American Megatrends, Inc.
Booting kickstart image: bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin....
  ................................................................................................................Image verification OK
INIT: I2C - Mezz absent
  sprom_drv_init_platform: nuova_i2c_register_get_card_index
  Starting system POST.....
  Executing Mod 1 1 SEEPROM Test:...done (0 seconds)
  Executing Mod 1 1 GigE Port Test:....done (32 seconds)
  Executing Mod 1 1 PCIE Test:.................done (0 seconds)
  Mod 1 1 Post Completed Successfully
  POST is completed
  can't create lock file /var/lock/mtab~193: No such file or directory (use -n flag to override)
  nohup: redirecting stderr to stdout
  autoneg unmodified, ignoring
  autoneg unmodified, ignoring
  Checking all filesystems..... done.
  Loading system software
  Uncompressing system image: bootflash:/n5000-uk9.5.1.3.N1.1.bin Fri Jan 20 18:00:20 SAKST 2012
Loading plugin 0: core_plugin...
  Loading plugin 1: eth_plugin...
  ethernet switching mode
  INIT: Entering runlevel: 3
  touch: cannot touch `/var/lock/subsys/n
  Set name-type for VLAN subsystem. Should be visible in /proc/net/vlan/config
  Added VLAN with VID == 4042 to IF -:muxif:-
  2012 Jan 20 18:00:38 dsw1-dc1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: CLIS: loading cmd files begin  - clis
  2012 Jan 20 18:00:41 dsw1-dc1 %$ VDC-1 %$ Jan 20 18:00:41 %KERN-0-SYSTEM_MSG: I2C - Mezz absent  - kernel
  2012 Jan 20 18:00:41 dsw1-dc1 %$ VDC-1 %$ Jan 20 18:00:41 %KERN-0-SYSTEM_MSG: sprom_drv_init_platform: nuova_i2c_register_get_card_index  - kernel
  2012 Jan 20 18:00:47 dsw1-dc1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: CLIS: loading cmd files end  - clis
  2012 Jan 20 18:00:47 dsw1-dc1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: CLIS: init begin  - clis
  2012 Jan 20 18:01:47 dsw1-dc1 %$ VDC-1 %$ %STP-2-VPC_PEERSWITCH_CONFIG_DISABLED: vPC peer-switch configuration i
Nexus 5000 Switch
  dsw1-dc1 login: 2012 Jan 26 22:13:16 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SATCTRL: FEX-100 Module 1: Cold boot
  2012 Jan 26 22:13:26 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_DIAG_ERROR: FEX-100 System minor alarm on power supply 2: failed
  2012 Jan 26 22:13:40 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_DIAG_ERROR: FEX-100 Module 1: Runtime diag detected major event: Voltage failure on power supply: 2
  2012 Jan 26 22:13:40 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_DIAG_ERROR: FEX-100 System minor alarm on power supply 2: failed
  2012 Jan 20 18:03:11 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_ENV_ERROR: FEX-100 Module 1: Check environment alarms.
  2012 Jan 20 18:03:15 dsw1-dc1 %$ VDC-1 %$ %PFMA-2-FEX_STATUS: Fex 100 is online
  2012 Jan 20 18:03:15 dsw1-dc1 %$ VDC-1 %$ %NOHMS-2-NOHMS_ENV_FEX_ONLINE: FEX-100 On-line
  2012 Jan 20 18:03:15 dsw1-dc1 %$ VDC-1 %$ %PFMA-2-FEX_STATUS: Fex 100 is online

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

dsw1-dc1# install all system bootflash:///n5000-uk9.5.1.3.N1.1.bin kickstart bootflash:///n5000-uk9-kickstart.5.1.3.N1.1.bin

Verifying image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin for boot variable "kickstart".

[####################] 100% -- SUCCESS

Verifying image bootflash:/n5000-uk9.5.1.3.N1.1.bin for boot variable "system".

[####################] 100% -- SUCCESS

Verifying image type.

[####################] 100% -- SUCCESS

Extracting "system" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Extracting "kickstart" version from image bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Extracting "bios" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Extracting "fexth" version from image bootflash:/n5000-uk9.5.1.3.N1.1.bin.

[####################] 100% -- SUCCESS

Performing module support checks.

[####################] 100% -- SUCCESS

Notifying services about system upgrade.

[####################] 100% -- SUCCESS

Compatibility check is done:

Module bootable Impact Install-type Reason

------ -------- -------------- ------------ ------

1 yes disruptive reset Some LACP ports not in steady state or operating in 'rate fast' mode.

100 yes disruptive reset Some LACP ports not in steady state or operating in 'rate fast' mode.

Images will be upgraded according to following table:

Module Image Running-Version New-Version Upg-Required

------ ---------- ---------------------- ---------------------- ------------

1 system 5.0(3)N1(1c) 5.1(3)N1(1) yes

1 kickstart 5.0(3)N1(1c) 5.1(3)N1(1) yes

1 bios v3.5.0(02/03/2011) v3.5.0(02/03/2011) no

100 fexth 5.0(3)N1(1c) 5.1(3)N1(1) yes

1 power-seq v3.0 v3.0 no

3 power-seq v2.0 v2.0 no

1 uC v1.1.0.1 v1.0.0.14 no

Additional info for this installation:

--------------------------------------

Remove QoS & ACL config on L3 interfaces and SVIs if any

LACP: Upgrade will be disruptive as 0 switch ports and 6 fex ports are not upgrade ready!!

Switch will be reloaded for disruptive upgrade.

Do you want to continue with the installation (y/n)? [n] y

Install is in progress, please wait.

Performing runtime checks.

[####################] 100% -- SUCCESS

Setting boot variables.

[####################] 100% -- SUCCESS

Performing configuration copy.

[####################] 100% -- SUCCESS

Pre-loading modules.

[This step might take upto 20 minutes to complete - please wait.]

[*Warning -- Please do not abort installation/reload or powercycle fexes*]

[# ] 0%

2012 Jan 26 22:05:32 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Image update in progress.

[##### ] 20%

2012 Jan 26 22:11:52 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SATCTRL_IMAGE: FEX100 Im

[####################] 100% -- SUCCESS

Finishing the upgrade, switch will reboot in 10 seconds.

dsw1-dc1# Shutdown Ports..

writing reset reason 49,

INIT: Sending processes the TERM signal

Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "vshd" (PID 4479) is forced exit.

Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "u6rib" (PID 4547) is forced exit.

Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "vdc_mgr" (PID 4512) is forced exit.

Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "statsclient" (PID 4562) is forced exit.

Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "smm" (PID 4480) is forced exit.

Jan 26 22:12:13 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "rpm" (PID 4693) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "res_mgr" (PID 4518) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "npacl" (PID 4524) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "licmgr" (PID 4483) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "l3vm" (PID 4544) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "vlan_mgr" (PID 4579) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "urib" (PID 4548) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "mcastfwd" (PID 4708) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "Radius Daemon" (PID 4684) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "m2rib" (PID 4578) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "callhome server" (PID 4588) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "Cert_enroll Daemon" (PID 4542) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "Security Daemon" (PID 4541) is forced exit.

Jan 26 22:12:14 %TTYD-2-TTYD_ERROR TTYD Error ttyd bad select

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "AAA Daemon" (PID 4543) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "adjmgr" (PID 4573) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "eth_dstats" (PID 4532) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "fs-daemon" (PID 4484) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "icmpv6" (PID 4628) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "idehsd" (PID 4529) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "igmp" (PID 4686) is forced exit.

Jan 26 22:12:14 %LIBSYSMGR-3-SIGTERM_FORCE_EXIT Service "arp" (PID 4627) is forced exit.

Unexporting directories for NFS kernel daemon...done.

Stopping NFS kernel daemon: rpc.mountd rpc.nfsddone.

Unexporting directories for NFS kernel daemon...

done.

Stopping portmap daemon: portmap.

Stopping kernel log daemon: klogd.

Sending all processes the TERM signal... done.

Sending all processes the KILL signal... done.

Unmounting remote filesystems... done.

Deactivating swap...umount: none busy - remounted read-only

done.

Unmounting local filesystems...umount: none busy - remounted read-only

done.

mount: you must specify the filesystem type

Starting reboot command: reboot

Rebooting...

Resetting board

Restarting system.

Argon BIOS v.3.5, Thu 02/03/2011, 05:12 PM

Booting kickstart image: bootflash:/n5000-uk9-kickstart.5.1.3.N1.1.bin....

................................................................................................................Image verification OK

INIT: I2C - Mezz absent

sprom_drv_init_platform: nuova_i2c_register_get_card_index

Starting system POST.....

Executing Mod 1 1 SEEPROM Test:...done (0 seconds)

Executing Mod 1 1 GigE Port Test:....done (32 seconds)

Executing Mod 1 1 PCIE Test:.................done (0 seconds)

Mod 1 1 Post Completed Successfully

POST is completed

can't create lock file /var/lock/mtab~193: No such file or directory (use -n flag to override)

nohup: redirecting stderr to stdout

autoneg unmodified, ignoring

Checking all filesystems..... done.

Loading system software

Uncompressing system image: bootflash:/n5000-uk9.5.1.3.N1.1.bin Fri Jan 20 18:00:20 SAKST 2012

Loading plugin 0: core_plugin...

Loading plugin 1: eth_plugin...

ethernet switching mode

INIT: Entering runlevel: 3

touch: cannot touch `/var/lock/subsys/n

Set name-type for VLAN subsystem. Should be visible in /proc/net/vlan/config

Added VLAN with VID == 4042 to IF -:muxif:-

2012 Jan 20 18:00:38 dsw1-dc1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: CLIS: loading cmd files begin - clis

2012 Jan 20 18:00:41 dsw1-dc1 %$ VDC-1 %$ Jan 20 18:00:41 %KERN-0-SYSTEM_MSG: I2C - Mezz absent - kernel

2012 Jan 20 18:00:41 dsw1-dc1 %$ VDC-1 %$ Jan 20 18:00:41 %KERN-0-SYSTEM_MSG: sprom_drv_init_platform: nuova_i2c_register_get_card_index - kernel

2012 Jan 20 18:00:47 dsw1-dc1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: CLIS: loading cmd files end - clis

2012 Jan 20 18:00:47 dsw1-dc1 %$ VDC-1 %$ %USER-2-SYSTEM_MSG: CLIS: init begin - clis

2012 Jan 20 18:01:47 dsw1-dc1 %$ VDC-1 %$ %STP-2-VPC_PEERSWITCH_CONFIG_DISABLED: vPC peer-switch configuration i

Nexus 5000 Switch

dsw1-dc1 login: 2012 Jan 26 22:13:16 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SATCTRL: FEX-100 Module 1: Cold boot

2012 Jan 26 22:13:26 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_DIAG_ERROR: FEX-100 System minor alarm on power supply 2: failed

2012 Jan 26 22:13:40 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_DIAG_ERROR: FEX-100 Module 1: Runtime diag detected major event: Voltage failure on power supply: 2

2012 Jan 26 22:13:40 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_DIAG_ERROR: FEX-100 System minor alarm on power supply 2: failed

2012 Jan 20 18:03:11 dsw1-dc1 %$ VDC-1 %$ %SATCTRL-FEX100-2-SOHMS_ENV_ERROR: FEX-100 Module 1: Check environment alarms.

2012 Jan 20 18:03:15 dsw1-dc1 %$ VDC-1 %$ %PFMA-2-FEX_STATUS: Fex 100 is online

2012 Jan 20 18:03:15 dsw1-dc1 %$ VDC-1 %$ %NOHMS-2-NOHMS_ENV_FEX_ONLINE: FEX-100 On-line

2012 Jan 20 18:03:15 dsw1-dc1 %$ VDC-1 %$ %PFMA-2-FEX_STATUS: Fex 100 is online

4. Диагностика

Проверим версию системы

dsw1-dc1# show version | include system:|kickstart:
 kickstart: version 5.1(3)N1(1)
 system:    version 5.1(3)N1(1)

dsw1-dc1# show version | include system:|kickstart:

kickstart: version 5.1(3)N1(1)

system: version 5.1(3)N1(1)

Проверим версию FEX

dsw1-dc1# show fex 100 | include version:
FEX version: 5.1(3)N1(1) [Switch version: 5.1(3)N1(1)]

1 2	dsw1-dc1# show fex 100 \| include version: FEX version: 5.1(3)N1(1) [Switch version: 5.1(3)N1(1)]

Похоже всё успешно обновилось.

В случае отсутствия дублирования доступа к сервисам они были бы недоступны в течение 10 минут, в формате вывода Cisco IOS ping это выглядело бы так :)

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!.............................................
...................................................................!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

!!!!!!!!!!!!!!!!!!!!!!!!!!.............................................

...................................................................!!!!

!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Посмотреть лог обновления можно следующей командой

show install all status

1	show install all status

Информация о проблемах во время обновления или возникших в результате обновления

dsw1-dc1# show install all failure-reason 
 No install all failure-reason

1 2	dsw1-dc1# show install all failure-reason No install all failure-reason

5. Источники

Cisco Nexus 7000 Series NX-OS Troubleshooting Guide
Cisco Nexus 5000 Series NX-OS Upgrade and Downgrade Guide, Release 5.1