Nexus 9800モジュラスイッチのデュアルスーパーバイザへの移行

はじめに

このドキュメントでは、Nexus 9800モジュラスイッチのデュアルスーパーバイザに移行する方法について説明します。

前提条件

要件

両方のスーパーバイザへのコンソールアクセスが必要です。

Nexus 9000スイッチのアップグレードに関する基本的な知識があることが推奨されます。

詳細については、次のドキュメントを参照してください。

Cisco Nexus 9000シリーズNX-OSソフトウェアアップグレード/ダウングレードガイドリリース10.4(x)

Nexus 9000スイッチのハイアベイラビリティの基本を理解しておくことをお勧めします。

詳細については、次のドキュメントを参照してください。

Cisco Nexus 9000シリーズNX-OSハイアベイラビリティおよび冗長性ガイド、リリース10.4(x)

使用するコンポーネント

このドキュメントの情報は、2つのN9K-C9800-SUP-Aスーパーバイザモジュールを搭載したNX-OSソフトウェアリリース10.4(3)Fを実行するNexus 9808に基づいています。

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

背景説明

Cisco Nexus 9000シリーズスイッチは、冗長ハードウェアコンポーネントによってハードウェアまたはソフトウェアの障害の影響を受けないように保護されています。

デュアルスーパーバイザは、コントロールプレーンと管理プレーンに冗長性を提供します。2つのスーパーバイザはアクティブ/スタンバイの容量で動作します。アクティブ/スタンバイの容量では、常に一方のスーパーバイザモジュールだけがアクティブになり、もう一方はスタンバイバックアップとして動作します。2つのスーパーバイザは、アクティブ側のスーパーバイザモジュールに障害が発生した場合に、ほとんどのサービスに対してシームレスでステートフルなスイッチオーバーを提供するために、状態と設定を常に同期します。

デュアルスーパーバイザのサポートは、Nexus 9808スイッチでは10.4(1)F、Nexus 9804スイッチでは10.4(2)Fにそれぞれ導入されました。

初期のプラットフォーム導入では、最初は単一のスーパーバイザを含めることができ、次にデュアルスーパーバイザに移行できます。

このプラットフォームでデュアルスーパーバイザに正しく移行する方法を理解することが重要です。

このドキュメントで参照している出力例は、NX-OSソフトウェアリリース10.4(3)Fを実行しているNexus 9808のものです。
このコンテンツは、Nexus 9804にも適用されます。

このドキュメントでは、「セカンダリスーパーバイザ」と「スタンバイスーパーバイザ」という用語が使用されています。

セカンダリスーパーバイザとは、シャーシに物理的にインストールされている2番目のスーパーバイザを指しますが、必ずしもアクティブスーパーバイザと同期しているわけではありません。

スタンバイスーパーバイザとは、シャーシに物理的に取り付けられている2番目のスーパーバイザを指し、HAスタンバイ状態のアクティブスーパーバイザと同期しています。

はじめる前に

まず、前のセクションで説明したように、単一のスーパーバイザを備えたNexus 9800スイッチを、デュアルスーパーバイザをサポートするNX-OSソフトウェアリリースバージョンにアップグレードします。

10.4(x)でのみサポートされる機能を展開する場合は、『Cisco Nexus 9000シリーズスイッチに関するCisco NX-OSの推奨リリース』で参照されている最新の10.4(x)リリースにアップグレードすることをお勧めします。

セカンダリスーパーバイザの挿入

セカンダリスーパーバイザをNexus 9800のスーパーバイザスロット28に挿入します。
コンソールケーブルをセカンダリスーパーバイザに接続し、ターミナルセッションを開いてブートプロセスを監視します。

10.4(x)リリースのセカンダリ

10.4(x)リリースがプリインストールされたセカンダリスーパーバイザは、それ自体をスタンバイスーパーバイザ、スロット27スーパーバイザをアクティブスーパーバイザとして認識します。
セカンダリスーパーバイザは、アクティブスーパーバイザとの同期を開始します。同期は、ブートイメージから開始されます。

Cisco N9800(R)シリーズBIOS Ver 1.11プライマリ
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGAバージョン： 0x120
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明、パーティションタイプ0x83
check_bootmode: grub: grubを続行する
(hd0,4)から構成ファイル/boot/grub/menu.lst.localを読み取ろうとしています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。

bootflash:/nxos64-cs.10.4.3.F.binをブートしています…
ブートフラッシュ：/nxos64-cs.10.4.3.F.binをブートする<<
ディスクブートを試みています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
イメージが有効


イメージ署名の検証に成功しました。

ブート時間： 8/5/2024 17:41:4
mount: /newroot/usrにオーバーレイをマウントします。
klm_card_indexのインストール
done
ネイティブブートの設定
n9k mando SSDパーティションをリンクしています…
フラッシュデバイスの作成BOOT_DEV= sda
INIT：バージョン2.88ブート
ata_piixモジュールのインストールが完了しました。
kheadersモジュールをインストールしています…完了しました。
rootfsを展開しています…
ブートフラッシュに必要な合計サイズは158780です
ブートフラッシュの確認：OK
ブートフラッシュに必要な合計サイズは55644です
ブートフラッシュの確認：OK
8250シリアルドライバスプリアスINTの有効化の回避策
isan procfsのインストールが完了しました。
is_lxc: is_titan_eor: is_stby：サフィックス： klm_ftrace: /isanboot/lib/modules/klm_ftrace.o
非lxcモードでのftraceのインストール完了
カードインデックス21213でSSEモジュールをインストールしています…完了しました。
SSEデバイスノード243を作成中…完了しました。
/etc/rc.d/rcS.d/S06exablaze startの実行
/etc/rc.d/rcS.d/S06exablaze startの実行
MKR mandoはcpa libsを設定します
MANDO RP CPAセットアップが完了しました
I2Cドライバをロードしています…完了しました。
Need_GE[ 16.676681]を使用せずにcard_type 132用のCTRLドライバをインストールするトップレベルRP割り込みを有効にする
M ... [ 16.682862] 28スタンバイ27がアクティブになるまで待機<<
[18.689037]今、続けています…
done.

同じリリースイメージ

両方のスーパーバイザのブートイメージが同じ場合、セカンダリスーパーバイザはブートプロセスを完了し、アクティブスーパーバイザとのハイアベイラビリティスタンバイ状態(ha-standby)を確立するために移行します。

User Access Verification
N9K-C9808（スタンバイ）ログイン： 2024 8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 16.676681]トップレベルRP割り込みの有効化 – カーネル
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 16.682862] 28 Stdby waiting for 27 to become active - kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 18.689037]続行しています…-kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 53.624182] Initializing panic NMI - kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 53.656637] fpga_setup_probe – カーネル
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 85.571069]遅延作業の初期化 – カーネル
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 85.575323] Finished INIT function for lfm - kernel
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 94.522919] MANDO RDN : register_rdn_int – カーネル
2024年8月5日17:43:17 stark %$ VDC-1 %$ %KERN-0-SYSTEM_MSG: [ 94.527406] register_rdn_int : Sent First Heartbeat - kernel
2024年8月5日17:43:18 stark %$ VDC-1 %$ %USER-2-SYSTEM_MSG: <<%USBHSD-2-MOUNT>> logflash：オンライン – usbhsd
2024年8月5日17:43:43 stark %$ VDC-1 %$ %USER-2-SYSTEM_MSG: Installing thirdparty RPMs - /thirdparty_install.py
2024年8月5日17:43:46 stark %$ VDC-1 %$ %USER-2-SYSTEM_MSG: ssnmgr_app_initがssnmgrで呼び出されました – aclmgr
2024年8月5日17:43:47 stark %$ VDC-1 %$ %USER-1-SYSTEM_MSG: VP aclqos tah stats get - pltfm_config
2024年8月5日17:44:11 stark %$ VDC-1 %$ %USER-1-SYSTEM_MSG: ASSERT@../utils/usd/libusd/usd_drv.c:3332 - s1hal_supe
2024年8月5日17:44:16 stark %$ VDC-1 %$ %USER-1-SYSTEM_MSG: ASSERT@../utils/usd/libusd/usd_drv.c:3332 - s1hal_supe （メッセージが1回繰り返し）
2024年8月5日17:44:16 stark %$ VDC-1 %$ %USER-0-SYSTEM_MSG：デフォルトポリサーの終了 – copp
2024年8月5日17:44:36 stark %$ VDC-1 %$ %CARDCLIENT-2-FPGA_BOOT_PRIMARY: IOFPGAがプライマリからブートされました
2024年8月5日17:44:36 stark %$ VDC-1 %$ %CARDCLIENT-2-FPGA_BOOT_PRIMARY: TMFPGAがプライマリからブートされました

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby <<<

異なるリリースイメージ

両方のスーパーバイザのブートイメージが異なる 10.4(x)リリースの場合は、セカンダリスーパーバイザがリブートされ、NetBootが強制的に実行されて、アクティブスーパーバイザのブートイメージがセカンダリスーパーバイザにダウンロードされます。

この例では、アクティブスーパーバイザは10.4(3)Fを実行していますが、セカンダリスーパーバイザは10.4(1)Fでブートしています。

Cisco N9800(R)シリーズBIOS Ver 1.11プライマリ
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGAバージョン： 0x120
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明、パーティションタイプ0x83
check_bootmode: grub: grubを続行する
(hd0,4)から構成ファイル/boot/grub/menu.lst.localを読み取ろうとしています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。

bootflash:/nxos64-cs.10.4.1.F.binをブートしています…
ブートフラッシュ：/nxos64-cs.10.4.1.F.binをブートする<<
ディスクブートを試みています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
イメージが有効

<...>

[ 93.294604] MANDO RDN : register_rdn_int
[ 93.299095] register_rdn_int ：最初のハートビートを送信しました

<NetBootプロセスへの再起動>

Cisco N9800(R)シリーズBIOS Ver 1.11プライマリ
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGAバージョン： 0x120
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
NICベンダー8086デバイス15ab用のドライバの検索
i210デバイスid = 1537
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
NICベンダー8086デバイス15ab用のxチェックドライバ
nicベンダー8086デバイス15ab用内部ドライバ
pci_base_addres 0= b2c0000c ioaddr= 0
マスクの問題
デバイス8086:15abがioaddr 1000、membase b2c00000が4:0で検出されました
プローブ中…
intelxプローブ

eobc MACアドレス00000000:00000000:00000000:0000001c:00000000:00000000

board_type=5（オプション）
ネットワークの準備ができました。
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
*retry 1 currticks 27126 timeout = 720（タイムアウトまで1回）
* 再試行回数2 27684タイムアウト= 720
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
エラー番号= 0
reqretry = 0
*2リトライ2currticks27684タイムアウト= 720
ファイル名：/img-sync/curr-ks.img

board_type=5（オプション）

board_type=5（オプション）
アドレス：127.1.1.28
ネットマスク：255.255.0.0
サーバ：127.1.1.27
ゲートウェイ：0.0.0.0
ファイルシステムタイプはtftpで、ディスク全体を使用
.....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................イメージが有効

イメージ署名の検証に成功しました。

ダウンロードが完了すると、セカンダリスーパーバイザは新しいイメージでブートし、アクティブスーパーバイザとの間で「ha-standby」状態を確立します。

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

Mod Sw Hwスロット
— ----------------------- ------ ----
27 10.4(3) 1.0 SUP1
28 10.4(3) 1.0 SUP2

10.3(x)リリースのセカンダリ

10.3(x)リリースがプリインストールされているセカンダリスーパーバイザの場合、挿入後に次のいずれかのイベントが発生する可能性があります。
1. ブートループ。
2. 独立したスーパーバイザとして起動します。
3. loader >プロンプトでブートします。

セカンダリスーパーバイザがイベント1または2の状態である場合は、ブートアッププロセス中に「NXOS Grub」でCtrl-Cを入力して、これをloader >プロンプトに切り替える必要があります。
Cisco N9800(R)シリーズBIOS Ver 1.11プライマリ
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2633PCKJ
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
3E772D0F6E8FC7406CEC11BBA5B2A84C00000000000000000000000000000000
Aikido FPGA Version: 0x11B
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1b

NXOS Grub <<<< Ctrl+Cをここに挿入
ウォッチドッグの無効化
構成ファイルの読み取りと自動ブートを中止しています
自動ブートがないか、自動ブートに失敗しました。ローダにフォールバックしています

Loaderバージョン1.12

loader>

この例では、セカンダリスーパーバイザが10.3(2)Fからブートを開始し、自身をスタンバイスーパーバイザとして認識して、リブートされてloader >プロンプトが表示されます。
Cisco N9800(R)シリーズBIOS Ver 1.11プライマリ
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU9
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGAバージョン： 0x120
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明、パーティションタイプ0x83
check_bootmode: grub: grubを続行する
(hd0,4)から構成ファイル/boot/grub/menu.lst.localを読み取ろうとしています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。

bootflash:/nxos64-cs.10.3.2.F.binをブートしています…
bootflash:/nxos64-cs.10.3.2.F.binをブートする<<
ディスクブートを試みています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
イメージが有効

イメージ署名の検証に成功しました。

ブート時間： 7/23/2024 22:49:10
mount: /newroot/usrにオーバーレイをマウントします。
klm_card_indexのインストール
done
ネイティブブートの設定
n9k mando SSDパーティションをリンクしています…
フラッシュデバイスの作成BOOT_DEV= sda
INIT：バージョン2.88ブート
ata_piixモジュールのインストールが完了しました。
kheadersモジュールをインストールしています…完了しました。
rootfsを展開しています…
ブートフラッシュに必要な合計サイズは153632です
ブートフラッシュの確認：OK
ブートフラッシュに必要な合計サイズは54464です
ブートフラッシュの確認：OK
8250シリアルドライバスプリアスINTの有効化の回避策
isan procfsのインストールが完了しました。
is_lxc: is_titan_eor: is_stby：サフィックス： klm_ftrace: /isanboot/lib/modules/klm_ftrace.o
非lxcモードでのftraceのインストール完了
カードインデックス21213でSSEモジュールをインストールしています…完了しました。
SSEデバイスノード243を作成中…完了しました。
/etc/rc.d/rcS.d/S06exablaze startの実行
/etc/rc.d/rcS.d/S06exablaze startの実行
Mando SUPでctrli_liteを使用…
I2Cドライバをロードしています…完了しました。
NEED_GEMを使用せずにcard_type 132用のCTRLドライバをインストールしています…完了しました。
IGBドライバをロードしています…
Mando用のIntel igbドライバをロードしています…14.81: \nInstalling klm_ins_ixgbe for Mando... card_index=21213

klm_ins_ixgbeのインストールが完了しました。
Micron SSD以外…

すべてのファイルシステムをチェックします。
イメージからRPMを抽出しています…
/
MANDO RP CPAセットアップが完了しました
SPROMドライバをインストール21213ています… IS_N9Kが完了しました。
@@@ MANDO-RP
pfmsvcsモジュールをインストールしています…完了しました。
NVRAMモジュールをインストールしています…完了しました。
ポートモード6でif_indexモジュールをインストールしています…完了しました。
fcfwdのインストール
RNI lcndのインストールが完了しました。
lcndのインストールが完了しました。
\n S090setup-eth sup_start
自動ネゴシエート未変更、無視
一時停止パラメータが変更されていません。中止します
自動ネゴシエート未変更、無視
一時停止パラメータが変更されていません。中止します
psdevをインストールしています…
Veobcモジュールをインストールしています…完了しました。
RTNETLINK応答：ファイルが存在します
tmpディレクトリにある以前のpcapファイルのクリーンアップ
SRカードの確認
カードインデックスは21213
48.15: obfl & mtd spiドライバを挿入しています…
古いデータ：0新しいデータ：9f000000
古いデータ： 0新しいデータ： 0
古いデータ：20907001新しいデータ：a0901406
[ 48.207892] fpga_setup_probe
48.26：完了…obfl & mtd spiドライバを挿入しています…
OBFLキャラクタデバイスの作成
旧データ：c000000新データ：9f000000
古いデータ： 10c0000新しいデータ： 0
古いデータ：989040新しいデータ：a0901406
n9k用のマウントポグ！
48.31:N9k用の取り付けポグ！
48.32: N9kのPLOGをマウントしました！
n9kのリカバリをマウントしています！
48.33: N9k用のリカバリのマウント
mtd用OBFLストアのマウント
kernel_servicesモジュールの挿入が完了しました。
kernel_servicesキャラクタデバイスの作成
cgroupsが初期化されました
update-alternatives:/usr/bin/unshare.util-linuxへの/usr/bin/unshareのリンク
cgroups-initのシステムスタートアップリンクを削除しています…
/etc/init.d/cgroups-initのシステムスタートアップを追加しています。
groupaddコマンドを実行しています…
注： docker-ce: [ -r docker]を使用してgroupaddを実行します。
update-alternatives:/usr/bin/vim.tinyへの/bin/viのリンク
update-alternatives:/usr/bin/vim.tinyへの/usr/bin/vimのリンク
bootvarを削除してRP(standby)をローダープロンプトにする：コマンドラインenable_standbyを使用して、RP(standby)のブートを許可できます
INIT: Switching/isan/etc/rc.cleanupはinittab呼び出しを無視します
サード・パーティ・デーモンの停止
すべてのプロセスにTERMシグナルを送信しています…
すべてのプロセスにKILLシグナルを送信しています…
ファイルシステムをマウント解除しています…

Cisco N9800(R)シリーズBIOS Ver 1.11プライマリ
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU9
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGAバージョン： 0x120
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー

ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c

NXOSのGrub
ウォッチドッグの無効化
ファイルシステムタイプが不明、パーティションタイプ0x83
check_bootmode: grub: grubを続行する
(hd0,4)から構成ファイル/boot/grub/menu.lst.localを読み取ろうとしています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
(hd0,5)から構成ファイル/boot/grub/menu.lst.localを読み取ろうとしています
ファイルシステムタイプはext2fs、パーティションタイプは0x83です。
自動ブートがないか、自動ブートに失敗しました。ローダにフォールバックしています

Loaderバージョン1.11

loader>

HAを確立するためにアクティブスーパーバイザとイメージの同期を開始するには、BIOSバージョンに応じて2つの方法があります。

イメージ同期

BIOSバージョン

セカンダリスーパーバイザの現在のBIOSバージョンを確認する必要があります。
現在のバージョンは、スーパーバイザの挿入時およびリブート後のloader >プロンプトの前の最初の出力の1行目にあります。

Cisco N9800(R)シリーズBIOSバージョン1.11プライマリ<<
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU9
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGAバージョン： 0x120
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー
ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c
NXOSのGrub

アクティブから強制的にダウンロード

インストールされているBIOSバージョンが1.11以降の場合は、reload module 28 force-dnldコマンドを使用して、アクティブスーパーバイザからセカンダリスーパーバイザに対してイメージの同期を手動で開始できます。

このコマンドを実行する際には、セカンダリスーパーバイザがloader >プロンプトにある必要があります。

「異なるリリースイメージ」セクションと同様に、セカンダリスーパーバイザはNetBootを強制するためにリブートされ、アクティブスーパーバイザのブートイメージがセカンダリスーパーバイザにダウンロードされます。

アクティブ側スーパーバイザから –

N9K-C9808# reload module 28 force-dnld
N9K-C9808# 2024 Jul 23 22:59:15 N9K-C9808 %$ VDC-1 %$ %PLATFORM-2-PFM_MODULE_RESET: Manual restart of Module 28 from Command Line Interface

セカンダリスーパバイザから：

Loaderバージョン1.11

loader>

<アクティブによって開始されたリロード – NetBootプロセスに再起動します>
Cisco N9800(R)シリーズBIOS Ver 1.11プライマリ
Intel(R) Xeon(R) CPU D-1530(2.40GHz)
ボードタイプ0x220 PID N9K-C9808シリアルFOX2739PFU4
Chipguardの初期化
TAMライブラリバージョン： 3.4.26
合気道バージョン： 5.0.13
合気道チップのシリアル番号：
006FE1619905AB2897EB0DE352DFEFF300000000000000000000000000000000
Aikido FPGAバージョン： 0x120
Aikidoチップ認証が成功しました
Aikido KEY形式：UEFI
Cisco PKキー
Ciscoキーキー
Cisco DBXキー
Cisco OSリリースキー
Cisco OS開発キー
ボードタイプ5
IOFPGA @ 0xb2400000
SLOT_ID @ 0x1c
NXOSのGrub
ウォッチドッグの無効化
NICベンダー8086デバイス15ab用のドライバの検索
i210デバイスid = 1537
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
NICベンダー8086デバイス15ab用のxチェックドライバ
nicベンダー8086デバイス15ab用内部ドライバ
pci_base_addres 0= b2c0000c ioaddr= 0
マスクの問題
デバイス8086:15abがioaddr 1000、membase b2c00000が4:0で検出されました
プローブ中…
intelxプローブ
eobc MACアドレス00000000:00000000:00000000:0000001c:00000000:00000000
board_type=5（オプション）
ネットワークの準備ができました。
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
*retry 1 currticks 27126 timeout = 720（タイムアウトまで1回）
* 再試行回数2 27684タイムアウト= 720
bp_op = 1
bp_htype = 1
bp_hlen = 6
bp_xid = -160883712
bp_hwaddr = 00:00:00:1C:00:00
bp_hops = 0
bp_secs = 2132726648
エラー番号= 0
reqretry = 0
*2リトライ2currticks27684タイムアウト= 720
ファイル名：/img-sync/curr-ks.img
board_type=5（オプション）
board_type=5（オプション）
アドレス：127.1.1.28
ネットマスク：255.255.0.0
サーバ：127.1.1.27
ゲートウェイ：0.0.0.0
ファイルシステムタイプはtftpで、ディスク全体を使用
.....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................イメージが有効

イメージ署名の検証に成功しました。

ダウンロードが完了すると、セカンダリスーパーバイザは新しいイメージでブートし、アクティブスーパーバイザとの間で「ha-standby」状態を確立します。

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

Mod Sw Hwスロット
— ----------------------- ------ ----
27 10.4(3) 1.0 SUP1
28 10.4(3) 1.0 SUP2

EOBCブートセカンダリスーパーバイザ

インストールされているBIOSバージョンが1.11よりも低い場合は、セカンダリスーパーバイザがloader >プロンプトでeobcコマンドを使用して、手動でのみイメージの同期を開始できます。

これにより、スイッチはアクティブ側スーパーバイザからTFTPブートを実行した後、同期されます。

ローダ>?
?コマンドリストを印刷する
ブートブートイメージ
ブートモード：現在のブートモードの表示/変更
dirデバイス上のファイルの内容を一覧表示する
eobcチャネルを介したアクティブsupからのeobcブートイメージ
keyinfo BIOSキー情報
ヘルプコマンド一覧または特定のコマンドの使用方法を印刷します。
ip IPアドレスまたはゲートウェイアドレスの設定
rebootシステムをリブートします。
シリアルシリアルコンソールの設定
setネットワーク構成の設定
show loaderの設定

ローダー> eobc
NICベンダー8086デバイス15ab用のドライバの検索
i210デバイスid = 1537
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
nicベンダー8086デバイス15ab用ループドライバ
NICベンダー8086デバイス15ab用のxチェックドライバ
nicベンダー8086デバイス15ab用内部ドライバ
pci_base_addres 0= b2c0000c ioaddr= 0
マスクの問題
デバイス8086:15abがioaddr 1000、membase b2c00000が4:0で検出されました
プローブ中…
intelxプローブ

<数分後にスーパーバイザがTFTPブートプロセスを開始します>

アドレス：127.1.1.27
ネットマスク：255.255.0.0
サーバ：127.1.1.28
ゲートウェイ：0.0.0.0
ファイルシステムタイプはtftpで、ディスク全体を使用
................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................イメージが有効

< TFTPブートプロセスが完了し、イメージ同期プロセスが開始されます。＞

img-syncのイメージを保存中…
ブートフラッシュに十分な空きディスク領域がある

<同期プロセスの進行状況が表示されず、しばらく時間がかかる場合があります。＞

/bootflash/curr-ks.img ....のMd5チェックサムの確認
OKを確認する!!

<その直後に、スーパーバイザはブートと同期のプロセスを正常に完了し、スタンバイスーパーバイザとして起動します。＞

イーサネットスイッチングモード：6月21日（金）15:46:14 UTC 2024
span CLIの準備
[ 666.302971] MANDO RDN : register_rdn_int
[ 666.307460] register_rdn_int ：最初のハートビートを送信しました

User Access Verification
N9K-C9808（スタンバイ）ログイン：

ブートと同期のプロセス全体が15分以上かかる場合があります。
コンソールから監視できます。

アクティブスーパーバイザで、セカンダリスーパーバイザのステータスが「ha-standby」であることを確認できます。

N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

Mod Sw Hwスロット
— ----------------------- ------ ----
27 10.4(3) 1.0 SUP1
28 10.4(3) 1.0 SUP2

前述のいずれの方法を実行する必要があるのは1回だけです。

スタンバイスーパーバイザのブートフラッシュから10.3(x)リリースを削除し、10.4(x)リリースは残しておくことをお勧めします。

スタンバイスーパーバイザのBIOSのアップグレード

install all nxosを実行するサポートされているアップグレードを実行した場合、アクティブスーパーバイザはすでに最新のBIOSバージョンになっています。

さまざまな「リリースイメージ、アクティブおよびEOBCブートセカンダリスーパーバイザからの強制ダウンロード」の項に示されているプロセスでは、スタンバイスーパーバイザのBIOSはアップグレードされません。

次のステップでは、スタンバイ側のスーパーバイザのBIOSをアップグレードして、アクティブ側と一致させます。

アップグレードするスーパーバイザBIOSがスタンバイスーパーバイザBIOSだけであれば、リロードする必要はありません。

N9K-C9808# install all nxos bootflash:nxos64-cs.10.4.3.F.bin（すべてのnxosブートフラッシュをインストールする）
インストーラは最初に互換性チェックを実行します。Please wait.
インストーラが強制的に中断される

ブート変数「nxos」のイメージbootflash:/nxos64-cs.10.4.3.F.binを確認します。
[#####################] 100% – 成功

イメージの種類を確認しています。
[#####################] 100% – 成功

イメージbootflash:/nxos64-cs.10.4.3.F.binを使用して「nxos」バージョン情報を準備しています。
[#####################] 100% – 成功

イメージbootflash:/nxos64-cs.10.4.3.F.binを使用して「bios」バージョン情報を準備しています。
[#####################] 100% – 成功

モジュールサポートチェックを実行しています。
[#####################] 100% – 成功

システムアップグレードに関するサービスの通知。
[#####################] 100% – 成功

互換性チェックが行われます。
モジュールの起動可能な影響のインストールタイプの理由
------ -------- -------------- ------------ ------
27はい。コピーのみの無停止デフォルト・アップグレードは中断なし
28はいはい中断なしデフォルトのアップグレードは中断なし

次の表に従ってイメージがアップグレードされます。
モジュールイメージ実行バージョン(pri:alt)新規バージョンアップグレードが必要
------ ---------- ---------------------------------------- -------------------- ------------
27 nxos 10.4(3) 10.4(3) no
27 bios v01.09(12/19/2022):v01.03(12/29/2021) v01.12(11/28/2023)はい
28 nxos 10.4(3) 10.4(3) no
28 bios v01.12(11/28/2023):v01.03(12/29/2021) v01.12(11/28/2023) no

スイッチがリロードされ、アップグレードが中断されます。
インストールを続行しますか(y/n)?  [n] y

インストールが進行中です。お待ちください。

ランタイムチェックを実行しています。
[#####################] 100% – 成功

イメージbootflash:/nxos64-cs.10.4.3.F.binをスタンバイと同期しています。
[#####################] 100% – 成功

ブート変数を設定します。
[#####################] 100% – 成功

構成のコピーを実行しています。
[#####################] 100% – 成功

モジュール20：コンパクトフラッシュのリフレッシュとbios/loader/bootromのアップグレード。
警告：この時点では、モジュールを取り外したり、モジュールの電源を切ったりしないでください。
[#####################] 100% – 成功

モジュール22：コンパクトフラッシュのリフレッシュとbios/loader/bootromのアップグレード。
警告：この時点では、モジュールを取り外したり、モジュールの電源を切ったりしないでください。
[#####################] 100% – 成功

モジュール24：コンパクトフラッシュのリフレッシュとbios/loader/bootromのアップグレード。
警告：この時点では、モジュールを取り外したり、モジュールの電源を切ったりしないでください。
[#####################] 100% – 成功

モジュール26：コンパクトフラッシュのリフレッシュとbios/loader/bootromのアップグレード。
警告：この時点では、モジュールを取り外したり、モジュールの電源を切ったりしないでください。
[#####################] 100% – 成功

モジュール27：コンパクトフラッシュのリフレッシュとbios/loader/bootromのアップグレード
警告：この時点では、モジュールを取り外したり、モジュールの電源を切ったりしないでください。
[#####################] 100% – 成功

モジュール28：コンパクトフラッシュのリフレッシュとbios/loader/bootromのアップグレード。
警告：この時点では、モジュールを取り外したり、モジュールの電源を切ったりしないでください。
[#####################] 100% – 成功

インストールが正常に完了しました。

スタンバイ側スーパーバイザとアクティブ側スーパーバイザの両方でBIOSバージョンが一致しますが、EPLDバージョンが一致しません。
N9K-C9808（スタンバイ）# show hardware internal dev-version
0.-------------------------------------------------------------------
名前InstanceNumバージョン日付
0.-------------------------------------------------------------------
IO FPGA 0 0x1001b
TM FPGA 0 0x10006
BIOSバージョンv01.12（2023年11月28日）
代替BIOSバージョンv01.03（2021年12月29日）

N9K-C9808# show hardware internal dev-version
0.-------------------------------------------------------------------
名前InstanceNumバージョン日付
0.-------------------------------------------------------------------
IO FPGA 0 0x10017
TM FPGA 0 0x10002
FM Module-20 FPGA 1 0x10000
FM Module-22 FPGA 3 0x10000
FM Module-24 FPGA 5 0x10000
FM Module-26 FPGA 7 0x10000
BIOSバージョンv01.12（2023年11月28日）
代替BIOSバージョンv01.03（2021年12月29日）

スーパーバイザのEPLDのアップグレード

『Cisco Nexus 9000 Series NX-OS High Availability and Redundancy Guide, Release 10.4(x)』で説明されているように、Nexus 9800デュアルスーパーバイザ環境でEPLDアップグレードを実行することは必須要件です。

Cisco Bug ID CSCwk42621で詳しく説明されているように、 次の表に、HAが完全に機能するための、スーパーバイザ上でのEPLDの最小バージョンを示します。

IO FPGA	0x10020以上
TM FPGA	0x10006以上

個々のモジュールまたはシャーシ全体を一度にアップグレードできます。
アップグレードするモジュールによっては、この手順で中断が発生する可能性があります。

可能であれば、すべてのモジュールをアップグレードすることを推奨します。

アップグレードされるモジュールの数は、アップグレード全体にかかる時間に影響します。

中断の可能性を最小限に抑えるために、メンテナンスの時間帯にEPLDのアップグレードを実行することをお勧めします。

N9K-C9808# install epld bootflash:n9000-epld.10.4.3.F.img module ?
WORD Xまたはx-y （最大サイズ5）
allすべてのモジュールをインストールします。

N9K-C9808# install epld bootflash:n9000-epld.10.4.3.F.img module all
互換性チェック：
モジュールタイプのアップグレード可能な影響の理由
------ ----------------- ---------- ---------- ------
20 FM Yes中断モードのモジュールはアップグレード可能
22 FM Yes中断モードのモジュールはアップグレード可能
24 FM Yes中断モードのモジュールはアップグレード可能
26 FM Yes中断モードのモジュールはアップグレード可能
27 SUP Yes中断なしのモジュールのアップグレード可能
28 SUP Yes中断のないモジュールのアップグレードが可能

EPLDバージョンを取得しています....Please wait.
次の表に従ってイメージがアップグレードされます。
モジュールタイプEPLD実行バージョン新バージョンアップグレード必須
------ ---- ------------- --------------- ----------- ------------
20 FM MI FPGA 0x10000 0x10002あり
22 FM MI FPGA 0x10000 0x10002あり
24 FM MI FPGA 0x10000 0x10002あり
26 FM MI FPGA 0x10000 0x10002あり
27 SUP TM FPGA 0x10006 0x10006いいえ
27 SUP IO FPGA 0x1001b 0x10020あり
28 SUP TM FPGA 0x10002 0x10006あり
28 SUP IO FPGA 0x10017 0x10020あり
上記のモジュールはアップグレードが必要です。
続行しますか(y/n)?  [n] y

アクティブスーパーバイザをアップグレードしますか？  [n] y

モジュールのアップグレードに進みます。

モジュールのアップグレードに進みます。

モジュール20 EPLDアップグレードの開始
モジュール20:MI FPGA [プログラミング]:0.00%（64セクタ中0）
モジュール20:MI FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール20のEPLDアップグレードが成功しました。

モジュール20のEPLDのアップグレードが成功しました。

モジュール22 EPLDアップグレードの開始
モジュール22:MI FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール22のEPLDのアップグレードが成功しました。

モジュール22のEPLDのアップグレードが成功しました。

モジュール24 EPLDアップグレードの開始
モジュール24:MI FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール24のEPLDアップグレードが成功しました。

モジュール24のEPLDのアップグレードが成功しました。

モジュール26 EPLDアップグレードの開始
モジュール26:MI FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール26のEPLDアップグレードが成功しました。

モジュール26のEPLDのアップグレードが成功しました。

モジュール27:IO FPGA [プログラミング] :0.00%（全64セクタ中0）
モジュール27:IO FPGA [プログラミング]:100.00 %（全64セクタ中64 %）
モジュール27のEPLDのアップグレードが成功しました。

モジュール28 EPLDアップグレードの開始
モジュール28:IO FPGA [プログラミング]:100.00%（64セクタ中64）
モジュール28のEPLDアップグレードが成功しました。
モジュールタイプのアップグレード結果
------ ------------------ --------------
27 SUP成功
28 SUP成功

EPLDのアップグレード。スイッチオーバーを実行しています。

モジュール28のEPLDのアップグレードが成功しました。

シャーシをリロードしています…
スタンバイSUP（モジュール27）FPGAのリセット。Please wait...
モジュール27がリロードします。
モジュール20のFPGAをリセットします。Please wait...
モジュール20がリロードします。
モジュール22のFPGAをリセットします。Please wait...
モジュール22がリロードします。
モジュール24のFPGAをリセットします。Please wait...
モジュール24がリロードします。
モジュール26のFPGAをリセットします。Please wait...
モジュール26がリロードします。
アクティブなスーパーバイザのリセットを処理しています…
アクティブなSUP（モジュール28）FPGAをリセットしています。Please wait...
10秒後にリロード.....
モジュール20のFPGAをリセットします。Please wait...
モジュール20がリロードします。

EPLDのアップグレードとリロードの後で、アクティブ側とスタンバイ側のスーパーバイザのロールを切り替えることができます。
N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*
28 0スーパーバイザモジュールN9K-C9800-SUP-A ha-standby

アクティブ側スーパーバイザを変更するには、「system switchover」コマンドを使用して、アクティブ側スーパーバイザをリロードし、スタンバイ側スーパーバイザをアクティブにします。
アクティブスーパーバイザから：
N9K-C9808#システムスイッチオーバー

スタンバイ側スーパーバイザがアクティブになるときのスタンバイ側スーパーバイザ：
N9K-C9808（スタンバイ）ログイン：[ 784.909143] Got RP P2PM intr, Become Active !!

User Access Verification
N9K-C9808ログイン：admin
パスワード：

Cisco Nexusオペレーティングシステム(NX-OS)ソフトウェア
TAC Support:http://www.cisco.com/tac
著作権(C) 2002-2024、シスコおよびその関連会社
All rights reserved.
本ソフトウェアに含まれる著作物の著作権は以下のとおりです
他の第三者によって所有され、彼ら自身の下で使用され、配布される
ライセンス（オープンソースなど）本ソフトウェアは「現状のまま」提供され、
記載のない限り、明示的または暗示的な保証はなく、保証の対象は明示または黙示を問いません
商品性および特定の目的への適合性の保証に限定されます。
本ソフトウェアの一部のコンポーネントは、
GNU General Public License(GPL)バージョン2.0または
GNU General Public License(GPL)バージョン3.0またはGNU
Lesser General Public License(LGPL)バージョン2.1または
Lesser General Public License(LGPL)バージョン2.0
各ライセンスのコピーは、次のURLから入手できます。
http://www.opensource.org/licenses/gpl-2.0.phpおよび
http://opensource.org/licenses/gpl-3.0.htmlおよび
http://www.opensource.org/licenses/lgpl-2.1.phpおよび
http://www.gnu.org/licenses/old-licenses/library.txt にアクセスしてください。
N9K-C9808# show module
Mod Portsモジュールタイプモデルのステータス
— ----- ------------------------------------------------ --------------------- --------
27 0スーパーバイザモジュールの電源オン
28 0スーパーバイザモジュールN9K-C9800-SUP-Aアクティブ*

要約

1. セカンダリスーパーバイザのインストール

2. プリインストールされたリリースに応じて、アクティブスーパーバイザとセカンダリをイメージ同期するプロセスを実行します。

3. スタンバイスーパーバイザのBIOSのアップグレード

4. すべてのモジュールのEPLDのアップグレード