Catalyst 9000スイッチのEVPN VxLAN TRMのトラブルシューティング

はじめに

このドキュメントでは、EVPN VxLAN上のTRM（テナントルーテッドマルチキャスト）に関する問題をトラブルシューティングする方法について説明します。

前提条件

• ユニキャストEVPN VxLAN機能、BGP、およびMVPN（マルチキャスト仮想プライベートネットワーク）に関する知識があることが推奨されます。
• また、マルチキャストの動作方法とマルチキャストの概念を理解する必要があります

要件

このガイドでは、BGP、NVEピアがすでに正しいことを前提としています。基本的なEVPN VxLANの起動（ユニキャストping障害、BGP、NVEピアダウンなど）に問題がある場合は、必要に応じてBGP、EVPN、ルート/スイッチのトラブルシューティングガイドを参照してください。 

各コードリリースで利用可能な機能

使用するコンポーネント

このドキュメントの情報は、次のソフトウェアとハードウェアのバージョンに基づいています。

• C9300
• C9400
• C9500
• C9600

このドキュメントの情報は、特定のラボ環境にあるデバイスに基づいて作成されました。このドキュメントで使用するすべてのデバイスは、クリアな（デフォルト）設定で作業を開始しています。本稼働中のネットワークでは、各コマンドによって起こる可能性がある影響を十分確認してください。

注：シスコの他のプラットフォームでこれらの機能を有効にするために使用されるコマンドについては、該当するコンフィギュレーション ガイドを参照してください。

背景説明

EVPN TRMを設定するには、次のリンクを参照してください。BGP EVPN VXLANコンフィギュレーションガイド、Cisco IOS XE Amsterdam 17.3.x

Tenant Routed Multicast(TRM)は、BGP-EVPNベースのソリューションで、VxLANファブリック内のVTEPに接続された送信側と受信側の間でマルチキャストルーティングを可能にします[RFC7432]。TRMは、ユニキャストEVPNに存在するルートを使用して、マルチキャスト送信元とマルチキャストRPを検出します。NG-MVPNと同様に、マルチキャストの送信元と受信側の情報は、BGP MVPNアドレスファミリを使用して設定されたVTEP間でBGPプロトコルによって伝播されます。PIM/IGMPパケットは、TRM VTEPからVxLANファブリックに送信されません。

TRMが解決する主な問題は、異なるVLANに存在するが同じVRFに存在するマルチキャストの送信側と受信側が相互に通信できることです。TRMを使用しない場合、マルチキャストトラフィックは、アンダーレイ内の同じBUM（ブロードキャスト、ユニキャスト、マルチキャスト）インフラストラクチャの一部として送信されます。アンダーレイは、マルチキャストツリーの場合もあれば、入力レプリケーションの場合もあります。このインフラストラクチャはVLANごとに構築されるため、同じVLAN上のマルチキャストの送信側と受信側は通信できますが、異なるVLAN上のマルチキャストの送信側と受信側は通信できません。TRMでは、マルチキャストはBUMから移動され、親VRFの下でまとめてクラブされます。これにより、送信元または受信側のVLANに関係なく、マルチキャスト通信が完全に有効になります。

TRMは、同じまたは異なるサブネット内の送信側と受信側の間で、ローカルまたはVTEP経由でマルチテナント対応のマルチキャスト転送を提供します。詳細については、『BGP EVPN VXLANコンフィギュレーションガイド、Cisco IOS XE Amsterdam 17.3.x』を参照してください 

このガイドの方向付け方法：

• ガイドは、RPの場所に基づいて4つのシナリオに分かれています。
• あるシナリオでは、このセクションで直接説明していないCLIの例を参照できます。たとえば、SSMシナリオ2では、シナリオ1を参照して特定のCLIの読み方を理解します。 
• IPv4とIPv6の概念は両方のアドレスファミリで基本的に同じであるため、シナリオ1だけでIPv4とIPv6について説明します。
• 次のシナリオに示す要件では、送信元と受信側がVTEPに直接接続されていることが前提となっています（詳細については、「関連情報」の「ファブリック外部の送信元および受信側」の項を参照してください）。 

このトラブルシューティングドキュメントでは、showコマンドの出力の特定の行の最後にコメントが追加されています。これは、その出力行の特定の側面を強調表示または説明するために行われました。コメントが新しい行で始まる場合、コメントはコメントの前にある出力の行を参照します。このドキュメントでは、showコマンドの出力内のコメントを強調表示するために、次の表記法が使用されています。

<-— Text highlighted in this format inside a command's output represents a comment. 
    This is done for explanation purpose only and is not part of the command's output.

用語

確認 

すべてのシナリオに共通の検証

この最初のセクションでは、任意のシナリオに必要な基本要件について説明します。 

• 必要なNVEピアが起動していることを確認します。
• テナントVRFの送信元へのRPFインターフェイスがL3VNI SVIであることを確認します。RPFインターフェイスがL3VNI SVIではない場合、BGPはタイプ7の参加ルートを送信しません。いずれのシナリオでも、RPFインターフェイスはこのインターフェイスをポイントする必要があります。 
• ピア間のアンダーレイパス（MDTトンネル）が完了していることを確認します。 
• マルチキャストコントロールプレーンにBGPが使用されていることを確認します（MVPNとPIMを使用）。

注：このセクションは、IPv4およびIPv6テナントマルチキャストの両方の検証に適用されます。

NVEピアリングの確認 

このガイドのシナリオのいずれかで、VTEP間のNVEピアがアップしていることを確認します

• NVEピアは、BGPから学習したアドレスによって形成されます。 

Leaf-01#sh nve peers
Interface VNI    Type Peer-IP       RMAC/Num_RTs   eVNI    state flags UP time
nve1      50901  L3CP 172.16.254.4  7c21.0dbd.9548 50901   UP    A/-/4 01:54:11 <-- IPv4 peering with Leaf 02
nve1      50901  L3CP 172.16.254.4  7c21.0dbd.9548 50901   UP    A/M/6 17:48:36 <-- IPv6 peering with Leaf 02

Leaf-02#sh nve peers
Interface VNI    Type Peer-IP       RMAC/Num_RTs   eVNI    state flags UP time
nve1      50901  L3CP 172.16.254.3  10b3.d56a.8fc8 50901   UP    A/-/4 01:55:44 <-- IPv4 peering with Leaf 01
nve1      50901  L3CP 172.16.254.3  10b3.d56a.8fc8 50901   UP    A/M/6 17:56:19 <-- IPv6 peering with Leaf 01

テナントVRFでのRPFインターフェイスの確認

このインターフェイスがL3VNI SVI以外のインターフェイスの場合、BGPはMVPNタイプ7の加入を開始しません。

• このインターフェイスが表示されない場合は、送信元に戻るルートをL3VNIではないインターフェイスにする設定に問題がないことを確認してください。 

Leaf-03#sh ip rpf vrf green 10.1.101.11 <-- Multicast source IP 
RPF information for ? (10.1.101.11)
  RPF interface: Vlan901                <-- RPF interface is the L3VNI SVI 
  RPF neighbor: ? (172.16.254.3)        <-- Underlay Next hop IP
  RPF route/mask: 10.1.101.0/24         <-- Network prefix for the Source 
  RPF type: unicast (bgp 65001)  
  Doing distance-preferred lookups across tables
  RPF topology: ipv4 multicast base, originated from ipv4 unicast base

マルチキャストコントロールプレーンでBGPが使用されていることの確認

• mdt overlay use-bgp:BGP MVPNタイプ5/6/7を信号プロトコルとして使用するようにデバイスに通知します（PIMメッセージと対比）。
• spt-only:AnyCast RPシナリオでSPTツリーのみを使用するようにデバイスに通知する追加キーワード。各VTEPがRPであるため、MVPNタイプ6のルートは使用されません。 

Leaf-01
!
vrf definition green
rd 1:1
!
address-family ipv4
mdt auto-discovery vxlan
mdt default vxlan 239.1.1.1       <-- Defines MDT default underlay group address 
mdt overlay use-bgp [spt-only]    <-- Required for VTEP to use MVPN Type 5/6/7 versus PIM for multicast control plane. (spt-only used for Anycast RP scenario) 

MDTグループの確認

MDTグループはTRMグループがカプセル化される外部トンネルグループであるため、すべてのシナリオで共通です。 

ソース側でMDTグループが正しくプログラムされていることを確認します

• MDTグループの着信インターフェイスは発信側ループバックです 
• MDTグループの発信インターフェイスはアンダーレイインターフェイスです 

Leaf-01:MDT mrouteがMRIB/MFIBで正しいことを確認します

Leaf-01#sh ip mroute 239.1.1.1 172.16.254.3
(172.16.254.3, 239.1.1.1), 00:46:35/00:02:05, flags: FTx
  Incoming interface: Loopback1, RPF nbr 0.0.0.0             <-- IIF is local loopback with 0.0.0.0 RPF indicating local
  Outgoing interface list:
    GigabitEthernet1/0/2, Forward/Sparse, 00:46:35/00:03:12  <-- OIF is the underlay uplink 

Leaf-01#sh ip mfib 239.1.1.1 172.16.254.3
(172.16.254.3,239.1.1.1) Flags: HW
  SW Forwarding: 2/0/150/0, Other: 1/1/0
  HW Forwarding: 1458/0/156/0, Other: 0/0/0 <-- Hardware counters indicate the entry is operating in hardware and forwarding packets 
  Null0 Flags: A NS                         <--- Null0 (originated locally) 
  GigabitEthernet1/0/2 Flags: F NS          <-- OIF is into the Underlay (Global route table)
    Pkts: 0/0/1 Rate: 0 pps

MDTグループのLeaf-01:FEDエントリを確認します 

Leaf-01#sh platform software fed switch active ip mfib 239.1.1.1/32 172.16.254.3 detail <-- the detail option gives summary of the HW indexes 

MROUTE ENTRY vrf 0 (172.16.254.3, 239.1.1.1/32) <-- vrf 0 = global for this MDT S,G pair
  HW Handle: 139738317079128 Flags:
RPF interface: Null0(1)):                       <-- Leaf-01 the Source (Null0)
  HW Handle:139738317079128 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 71            <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     Null0 A                    <-- The incoming interface is Local Loopback1 and A-Accept flag set
     GigabitEthernet1/0/2 F NS  <-- The Underlay Outgoing Interface and F-Forward flag set
Htm: 0x7f175cc0beb8 Si: 0x7f175cc0a6b8 Di: 0x7f175cc09df8 Rep_ri: 0x7f175cc0a1d8 <-- The DI (dest index) handle

DI details 
----------
Handle:0x7f175cc09df8 Res-Type:ASIC_RSC_DI Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x538d mtu_index/l3u_ri_index0:0x0 index1:0x538d mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 1)
----------------------------------------
Destination index = 0x538d
pmap = 0x00000000 0x00000002
pmap_intf : [GigabitEthernet1/0/2]  <-- FED has the correct programming for the OIF 
==============================================================

受信側でMDTグループが正しくプログラムされていることを確認します

• MDTグループの着信インターフェイスは、発信側ループバックに戻るRPFインターフェイスです 
• MDTグループの発信インターフェイスはEncap/Decap Tunnelインターフェイスです 

Leaf-02:MDT mrouteがMRIB/MFIBで正しいことを確認します

Leaf-02#sh ip mroute 172.16.254.3 239.1.1.1         <-- This is the Global MDT group 
(172.16.254.3, 239.1.1.1), 00:23:35/00:01:09, flags: JTx <-- Source is Leaf-01 Lo1 IP 
  Incoming interface: GigabitEthernet1/0/2, RPF nbr 172.16.24.2
  Outgoing interface list:
    Tunnel0, Forward/Sparse, 00:23:35/00:00:24      <-- Decap Tunnel 

Leaf-02#sh ip mfib 239.1.1.1 172.16.254.3
Default                                             <-- Global routing table 
  (172.16.254.3,239.1.1.1) Flags: HW
    SW Forwarding: 1/0/150/0, Other: 0/0/0
    HW Forwarding: 5537/0/168/0, Other: 0/0/0  <-- Hardware counters indicate the entry is operating in hardware and forwarding packets 
    GigabitEthernet1/0/2 Flags: A              <-- Accept via Underlay (Global) interface 
    Tunnel0, VXLAN Decap Flags: F NS           <-- Forward to VxLAN decap Tunnel 
      Pkts: 0/0/1 Rate: 0 pps

MDTグループのLeaf-02: FEDエントリを確認します 

Leaf-02#sh platform software fed switch active ip mfib 239.1.1.1/32 172.16.254.3 detail
MROUTE ENTRY vrf 0 (172.16.254.3, 239.1.1.1/32) <-- vrf 0 = global for this MDT S,G pair
  HW Handle: 140397391831832 Flags:
RPF interface: GigabitEthernet1/0/2(57)):       <-- RPF interface to 172.16.254.3
  HW Handle:140397391831832 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 1585           <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     Tunnel0 F NS                <-- Send to decap tunnel to remove VxLAN header 
          (Adj: 0x73 )           <-- Tunnel0 Adjacency 
     GigabitEthernet1/0/2 A      <-- Accept MDT packets from this interface 
Htm: 0x7fb0d0f1f388 Si: 0x7fb0d0f1dc08 Di: 0x7fb0d0ed0438 Rep_ri: 0x7fb0d0ed07a8

RI details                       <-- Rewrite Index is used for VxLAN decapsulation 
----------
Handle:0x7fb0d0ed07a8 Res-Type:ASIC_RSC_RI_REP Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x38 mtu_index/l3u_ri_index0:0x0 index1:0x38 mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 0)
----------------------------------------
ASIC# 0
Replication list :
------------------

Total #ri : 6
Start_ri : 56
Common_ret : 0

Replication entry rep_ri 0x38 #elem = 1
0) ri[0]=0xE803 Dynamic port=88ri_ref_count:1 dirty=0

Leaf-02#sh platform hardware fed sw active fwd-asic resource asic all rewrite-index range 0xE803 0xE803
ASIC#:0 RI:59395 Rewrite_type:AL_RRM_REWRITE_L2_PAYLOAD_IPV4_EVPN_DECAP(118) Mapped_rii:LVX_EVPN_DECAP(246)
<...snip...>

シナリオ 1.AnyCast RP（SPT専用ツリー）IPv4およびIPv6

このモードでは、すべてのVTEPにRPがあります。これらのVTEPはMSDP経由で学習した送信元を同期せず、共有ツリーはありません。代わりに、MDTモードはBGP情報を使用してSPTマルチキャストツリーのみを作成します。 このモードは、SPT専用モードまたは分散型エニーキャストRPモードと同じ意味で呼ばれます。このモードでは、各VTEPがPIM RPになります。したがって、各サイトの(*,G)ツリーは、ローカルVTEP自体で切り詰められます。ファブリック経由で(*,G)参加またはMVPN RT-6を送信する必要はありません。

ネットワーク図

このモードでは、3つのBGPルートタイプについて検討します。

1. EVPNルートタイプ2。これにより、発信元PEがCマルチキャストルート(RFC 6514 11.1.3) [RFC6514]をインポートできるように、発信元PEに戻るCマルチキャストルート（MVPNタイプ6/7）を構築する必要がある他のPEが、適切なCマルチキャストインポートRTを添付できるようになります。 このVRIの使用方法は、VRFコマンドの「mdt overlay use-bgp」によって異なります。
2. MVPNルートタイプ5。これはMVPNと同じで、マルチキャストソース/グループのアドバタイズメントが使用可能です
3. MVPNルートタイプ7。IGMPまたはMLDレイヤからの情報とEVPN Type-2からの情報を使用して、このBGPタイプの加入が作成されます。タイプ7は、ソース側でのMRIB OIFの作成を駆動します。 

EVPN Type-2の要件：

1. 直接接続されたマルチキャストソースがオンラインになります。 
2. FHR（送信元VTEP）は、ARP（またはND）およびCEF隣接関係（送信元が直接接続されていることを確認）を確認します。
3. FHRがEVPNタイプ2 BGPアップデートを発信します。 

MVPNタイプ5の要件：

1. ソースの直接接続の要件が解決されました
2. RPはローカルであるため、FHRはそれ自体に登録します。 
3. FHRがMVPNタイプ5 BGPアップデートを発信 

MVPN Type-7の要件：

1. EVPNタイプ2エントリが存在する（正しいVRIを使用して送信元VTEPから送信されるC – マルチキャストルートタイプ7を構築するために必要）
2. MVPN Type-5エントリが存在する（SPT加入に使用できる送信元/グループペアを解決するために必要）
3. IGMPまたはMLDメンバシップレポートがLHR VTEPによって受信され、処理されました 
4. LHR VTEP RPFインターフェイスは、ファブリックL3VNIインターフェイスです

ヒント：出力LHRで、VTEP PIMは送信元へのパスをチェックします。PIMは、RIB内でRPFインターフェイスとしてL3VNIであるルートを見つける必要があります。L3VNIが適切に設定されていない場合、またはダウンしている場合などです。VTEPはタイプ7 BGP参加の作成を試行しません。 

BGP EVPNおよびMVPNルートの確認

Leaf-01:EVPN Type-2が作成されたことを確認します。 

### IPv4 ###
Leaf-01#sh bgp l2vpn evpn all route-type 2 0 F4CFE24334C5 10.1.101.11
...or you can also use:
Leaf-01#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24, version 6
Paths: (1 available, best #1, table evi_101)
  Advertised to update-groups:
     1
  Refresh Epoch 1
  Local
    :: (via default) from 0.0.0.0 (172.16.255.3)                   <-- Leaf-01 locally created 
      Origin incomplete, localpref 100, weight 32768, valid, sourced, local, best
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8  <-- MVPN VRI RT is part of the EVPN Type-2
      Local irb vxlan vtep:
        vrf:green, l3-vni:50901             <-- Vrf and VxLAN tag 
        local router mac:10B3.D56A.8FC8
        core-irb interface:Vlan901          <-- L3VNI SVI 
        vtep-ip:172.16.254.3                <-- Leaf-01 VTEP
      rx pathid: 0, tx pathid: 0x0
      Updated on Dec 16 2020 17:40:29 UTC


### IPv6 ###
Leaf-01#sh bgp l2vpn evpn all route-type 2 0 F4CFE24334C1 FC00:1:101::11
...or you can also use:
Leaf-01#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36, version 6
Paths: (1 available, best #1, table evi_101)
  Advertised to update-groups:
     1
  Refresh Epoch 1
  Local
    :: (via default) from 0.0.0.0 (172.16.255.3)                   <-- Leaf-01 locally created 
      Origin incomplete, localpref 100, weight 32768, valid, sourced, local, best
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8  <-- MVPN VRI RT is part of the EVPN Type-2
      Local irb vxlan vtep:
        vrf:green, l3-vni:50901
        local router mac:10B3.D56A.8FC8
        core-irb interface:Vlan901       <-- L3VNI SVI
        vtep-ip:172.16.254.3             <-- Leaf-01 VTEP
      rx pathid: 0, tx pathid: 0x0
      Updated on Mar 22 2021 19:54:18 UTC

リーフ–01の確認：ARP/IPv6 NDおよびEVPNデバッグでARP/NDが学習され、ルートタイプ2が作成されて送信されたことが示される

### IPv4 ###
Leaf-01#sh debugging
ARP:
ARP packet debugging is on 

BGP L2VPN EVPN:
BGP updates debugging is on for address family: L2VPN E-VPN
BGP update events debugging is on for address family: L2VPN E-VPN

*Dec 17 17:00:06.480: IP ARP: rcvd rep src 10.1.101.11 f4cf.e243.34c5, dst 10.1.101.11 Vlan101 tableid 2 <-- Multicast Source ARP 
*Dec 17 17:00:06.481: BGP: EVPN Rcvd pfx: [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24, net flags: 0 <-- BGP Triggered Type-2 creation 
*Dec 17 17:00:06.481: TRM communities added to sourced RT2  <-- TRM extended VRI communities being injected into EVPN Type-2
*Dec 17 17:00:06.481: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/30 <-- Modifying the update 
*Dec 17 17:00:06.481: BGP(10): 172.16.255.1 NEXT_HOP set to vxlan local vtep-ip 172.16.254.3 for net [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24
*Dec 17 17:00:06.481: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/30
*Dec 17 17:00:06.481: BGP(10): (base) 172.16.255.1 send UPDATE (format) [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/30, next 172.16.254.3, metric 0, path Local, extended community RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
<--- Final update sent to RR with standard EVPN community info and required MVPN community attributes 


### IPv6 ###
Leaf-01#debug ipv6 nd
ICMP Neighbor Discovery events debugging is on
ICMP ND HA events debugging is ON

IPv6 ND:
Mar 23 14:29:51.935: ICMPv6-ND: (Vlan101,FC00:1:101::11) Resolution request
Mar 23 14:29:51.935: ICMPv6-ND: (Vlan101,FC00:1:101::11) DELETE -> INCMP
Mar 23 14:29:51.935: ICMPv6-ND HA: in Update Neighbor Cache: old state 6 new state 0
Mar 23 14:29:51.935: ICMPv6-ND HA: add or delete entry not synced as no peer detected
Mar 23 14:29:51.936: ICMPv6-ND: (Vlan101,FC00:1:101::11) Sending NS
Mar 23 14:29:51.936: ICMPv6-ND: (Vlan101,FC00:1:101::11) Queued data for resolution
Mar 23 14:29:51.953: ICMPv6-ND: (Vlan101,FC00:1:101::11) Received NA from FC00:1:101::11
Mar 23 14:29:51.953: ICMPv6-ND: Validating ND packet options: valid

Mar 23 14:29:51.953: ICMPv6-ND: (Vlan101,FC00:1:101::11) LLA f4cf.e243.34c1
Mar 23 14:29:51.953: ICMPv6-ND HA: modify entry not synced as no peer detected
Mar 23 14:29:51.953: ICMPv6-ND: (Vlan101,FC00:1:101::11) INCMP -> REACH  <-- peer is reachable


Leaf-01#debug bgp l2vpn evpn updates
Leaf-01#debug bgp l2vpn evpn updates events

BGP L2VPN EVPN:
Mar 23 14:11:56.462: BGP: EVPN Rcvd pfx: [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36, net flags: 0 <-- BGP Triggered Type-2 creation
Mar 23 14:11:57.462: TRM communities added to sourced RT2
ar 23 14:11:57.474: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/42
Mar 23 14:11:57.474: BGP(10): 172.16.255.1 NEXT_HOP set to vxlan local vtep-ip 172.16.254.3 for net [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
Mar 23 14:11:57.474: BGP(10): update modified for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/42
Mar 23 14:11:57.474: BGP(10): (base) 172.16.255.1 send UPDATE (format) [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/42, next 172.16.254.3, metric 0, path Local, extended community RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
<--- Final update sent to RR with standard EVPN community info and required MVPN community attributes 

リーフ–02:受信側のBGPでソース側のルートタイプ2が学習されたことを確認します 

### IPv4 ###
Leaf-02#sh bgp l2vpn evpn all | b 10.1.101.11
 * i  [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24  <-- Remote VTEP route-type 2 
                      172.16.254.3             0     100       0 ?
 *>i                   172.16.254.3             0     100       0 ?   <-- IP of Leaf01 Lo1


Leaf-02#sh bgp l2vpn evpn route-type 2 0 F4CFE24334C5 10.1.101.11
...or you can also use:
Leaf-02#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24, version 175
Paths: (2 available, best #2, table EVPN-BGP-Table) <-- In BGP EVPN table 
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 2
  Local
    172.16.254.3 (metric 3) (via default) from 172.16.255.2 (172.16.255.2)
      Origin incomplete, metric 0, localpref 100, valid, internal
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901 
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Dec 14 2020 19:58:57 UTC

MVPN AS:65001:0.0.0.0     <-- MVPN Autonomous System
MVPN VRF:172.16.255.3:2   <-- VRI Extended Community to be used in MVPN Type-7
Router MAC:10B3.D56A.8FC8 <-- Leaf-01 RMAC 
Label2 50901              <-- L3VNI 50901


### IPv6 ###
Leaf-02#sh bgp l2vpn evpn all | b FC00:1:101::11
 * i  [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
                      172.16.254.3             0    100      0 ?
 *>i                   172.16.254.3             0    100      0 ?        <-- IP of Leaf01 Lo1

Leaf-02#sh bgp l2vpn evpn route-type 2 0 F4CFE24334C1 FC00:1:101::11
...or you can also use:
Leaf-02#sh bgp l2vpn evpn detail [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36, version 659
Paths: (2 available, best #2, table EVPN-BGP-Table)   <-- In BGP EVPN table 
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 2
  Local
    172.16.254.3 (metric 3) (via default) from 172.16.255.2 (172.16.255.2)
      Origin incomplete, metric 0, localpref 100, valid, internal
      EVPN ESI: 00000000000000000000, Label1 10101, Label2 50901
      Extended Community: RT:1:1 RT:65001:101 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:2 ENCAP:8 Router MAC:10B3.D56A.8FC8
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Mar 23 2021 14:11:57 UTC

MVPN AS:65001:0.0.0.0     <-- MVPN Autonomous System
MVPN VRF:172.16.255.3:2   <-- VRI Extended Community to be used in MVPN Type-7
Router MAC:10B3.D56A.8FC8 <-- Leaf-01 RMAC
Label2 50901              <-- L3VNI 50901

リーフ–02の確認：ソースルートタイプ5がレシーバVTEPリーフ–02のBGPで学習されます。 

### IPv4 ###
Leaf-02#sh bgp ipv4 mvpn all route-type 5 10.1.101.11 226.1.1.1
...or you can also use:
Leaf-02#sh bgp ipv4 mvpn detail [5][1:1][10.1.101.11][226.1.1.1]/18
BGP routing table entry for [5][1:1][10.1.101.11][226.1.1.1]/18, version 72        <-- Type-5 contains advertised S,G pair
Paths: (2 available, best #1, table MVPNv4-BGP-Table, not advertised to EBGP peer) <-- In BGP IPv4 MVPN table
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.3 (metric 3) from 172.16.255.2 (172.16.255.2)      <-- Loopback0 of Leaf-01
      Origin incomplete, metric 0, localpref 100, valid, internal
      Community: no-export
      Extended Community: RT:1:1
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Dec 15 2020 16:54:53 UTC


### IPv6 ###
Leaf-02#sh bgp ipv6 mvpn all route-type 5 FC00:1:101::11 FF06:1::1
...or you can also use:
Leaf-02#sh bgp ipv6 mvpn detail [5][1:1][FC00:1:101::11][FF06:1::1]/42
BGP routing table entry for [5][1:1][FC00:1:101::11][FF06:1::1]/42, version 11     <-- Type-5 contains advertised S,G pair
Paths: (2 available, best #1, table MVPNV6-BGP-Table, not advertised to EBGP peer) <-- In BGP IPv6 MVPN table
  Flag: 0x100
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.3 (metric 3) from 172.16.255.2 (172.16.255.2)      <-- Loopback0 of Leaf-01
      Origin incomplete, metric 0, localpref 100, valid, internal
      Community: no-export
      Extended Community: RT:1:1 
      Originator: 172.16.255.3, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Mar 23 2021 15:13:06 UTC

Leaf-02:で、タイプ7を作成するためにLeaf-01からのBGP情報が必要であることを確認します。最後の要件は、IGMPまたはMLDが、対象レシーバがあることをVTEPに通知するメンバシップレポートを処理したことです。 

### IPv4 ###
Leaf-02#sh ip igmp snooping groups vlan 102
Vlan     Group                Type            Version         Port List
-----------------------------------------------------------------------
102      226.1.1.1            igmp            v2              Gi1/0/10  <-- Receiver joined on Gi1/0/10


### IPv6 ###
Leaf-02#sh ipv6 mld vrf green groups detail
Interface:      Vlan102                  <-- Join on Vlan 102
Group:          FF06:1::1                <-- Group joined
Uptime:         06:38:25
Router mode:    EXCLUDE (Expires: 00:02:14)
Host mode:      INCLUDE
Last reporter:  FE80::46D3:CAFF:FE28:6CC1 <-- MLD join from Receiver link-local address
Source list is empty                      <-- ASM join, no sources listed 

Leaf-02#sh ipv6 neighbors vrf green
IPv6 Address                                Age Link-layer Addr State Interface
FE80::46D3:CAFF:FE28:6CC1                     0 44d3.ca28.6cc1  REACH Vl102   <-- Receiver IP & MAC

Leaf-02#sh ipv6 mld snooping address vlan 102 <-- If MLD snooping is on, it can be checked as well
Vlan     Group               Type             Version         Port List
-----------------------------------------------------------------------
102      FF06:1::1           mld              v2              Gi1/0/10        <-- Receiver joined on Gi1/0/10

Leaf-02:IGMP/MLDメンバーシップレポートが到着し、必要なEVPNタイプ2およびタイプ5がすでにインストールされている場合に、MVPNデバッグにルートタイプ7が作成されることを確認します。 

### IPv4 ###
Leaf-02#debug bgp ipv4 mvpn updates
Leaf-02#debug bgp ipv4 mvpn updates events

*Dec 14 19:41:57.645: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=0, rd=1:1,
*Dec 14 19:41:57.645: source=10.1.101.11/4,
*Dec 14 19:41:57.645: group=226.1.1.1/4,
*Dec 14 19:41:57.645: nexthop=172.16.254.3,   <-- Source is via Leaf-01 IP 
*Dec 14 19:41:57.645: len left = 0
*Dec 14 19:41:57.645: BGP[14] MVPN umh lookup: vrfid 2, source 10.1.101.11
*Dec 14 19:41:57.645: BGP[4] MVPN umh lookup: vrfid 2, source 10.1.101.11, net 1:1:10.1.101.11/32, 1:1:10.1.101.11/32 with matching nexthop 172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2,
*Dec 14 19:41:57.646: BGP: MVPN(15) create local route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Dec 14 19:41:57.646: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=65001, rd=1:1,  


### IPv6 ###
Leaf-02#debug bgp ipv6 mvpn updates
Leaf-02#debug bgp ipv6 mvpn updates events

Mar 23 15:46:11.171: BGP[16] MVPN: add c-route, type 7, bs len 0 asn=0, rd=1:1,
Mar 23 15:46:11.171: source=FC00:1:101::11/16,
Mar 23 15:46:11.171: group=FF06:1::1/16,
Mar 23 15:46:11.171: nexthop=::FFFF:172.16.254.3,   <-- IPv4 next hop of Leaf-01
Mar 23 15:46:11.171: len left = 0
Mar 23 15:46:11.171: BGP[19] MVPN umh lookup: vrfid 2, source FC00:1:101::11
Mar 23 15:46:11.171: BGP[5] MVPN umh lookup: vrfid 2, source FC00:1:101::11, net [1:1]FC00:1:101::11/128, [1:1]FC00:1:101::11/128 with matching nexthop ::FFFF:172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2,
Mar 23 15:46:11.172: BGP: MVPN(16) create local route [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46
Mar 23 15:46:11.172: BGP[16] MVPN: add c-route, type 7, bs len 0 asn=65001, rd=1:1,

Leaf-01の確認：Leaf-02から受信したMVPNタイプ7 

### IPv4 ###
Leaf-01#sh bgp ipv4 mvpn all route-type 7 172.16.254.3:101 65001 10.1.101.11 226.1.1.1
...or you can also use:
Leaf-01#sh bgp ipv4 mvpn detail [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
BGP routing table entry for [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22, version 76
Paths: (2 available, best #1, table MVPNv4-BGP-Table)        <-- In BGP IPv4 MVPN table
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.4 (metric 3) from 172.16.255.2 (172.16.255.2) <-- loopback of Leaf-02 Receiver VTEP
      Origin incomplete, metric 0, localpref 100, valid, internal
      Extended Community: RT:172.16.255.3:2                  <-- The VRI derived from EVPN Type-2 and added to the MVPN Type-7 
      Originator: 172.16.255.4, Cluster list: 172.16.255.2
      rx pathid: 0, tx pathid: 0
      Updated on Dec 15 2020 14:14:38 UTC


### IPv6 ###
Leaf-01#sh bgp ipv6 mvpn all route-type 7 172.16.254.3:101 65001 FC00:1:101::11 FF06:1::1
...or you can also use:
Leaf-01#sh bgp ipv6 mvpn detail [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46
BGP routing table entry for [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46, version 45
Paths: (2 available, best #1, table MVPNV6-BGP-Table)        <-- In BGP IPv6 MVPN table
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.255.4 (metric 3) from 172.16.255.1 (172.16.255.1)  <-- loopback of Leaf-02 Receiver VTEP
      Origin incomplete, metric 0, localpref 100, valid, internal, best
      Extended Community: RT:172.16.255.3:2    <-- The VRI derived from EVPN Type-2 and added to the MVPN Type-7 
      Originator: 172.16.255.4, Cluster list: 172.16.255.1
      rx pathid: 0, tx pathid: 0x0
      Updated on Mar 23 2021 15:46:11 UTC

Leaf-01の確認：MVPNデバッグで、MVPN VRIルートターゲットとともに受信したルートタイプ7が表示されます。 

*Dec 17 16:16:31.923: BGP(15): 172.16.255.2 rcvd UPDATE w/ attr: nexthop 172.16.255.4, origin ?, localpref 100, metric 0, originator 172.16.255.4, clusterlist 172.16.255.2, extended community RT:172.16.255.3:2 <-- VRI RT
*Dec 17 16:16:31.923: BGP(15): 172.16.255.2 rcvd [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22 <-- Received MVPN Type-7
<...only update from Spine-02 172.16.255.2 ...>
*Dec 17 16:16:31.923: BGP(15): skip vrf default table RIB route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Dec 17 16:16:31.924: BGP(15): add RIB route (0:0)[7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22

(Skipping IPv6, see the debugs demonstrated in previous steps)

リーフ–02の確認：完全なBGPテーブルに、リーフ–01 EVPNタイプ2とMVPNタイプ5およびレシーバLeaf-02によって生成されたタイプ7が含まれています

### IPv4 ###
Leaf-02#sh bgp l2vpn evpn all | b 10.1.101.11
* i [2][172.16.254.3:101][0][48][F4CFE24334C5][32][10.1.101.11]/24 <-- Remote VTEP route-type 2 
                    172.16.254.3             0    100     0 ?
*>i                  172.16.254.3             0    100     0 ?     <-- IP of Leaf01 Lo1

Leaf-02#sh bgp ipv4 mvpn all
     Network          Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)                    <-- default RD for vrf green 
*>i [5][1:1][10.1.101.11][226.1.1.1]/18                             <-- Type-5, source & group 
                    172.16.255.3               0   100       0 ?    <-- Next hop Leaf-01 IP 
* i                  172.16.255.3               0   100       0 ?
Route Distinguisher: 172.16.254.3:101                               <-- MVPN RD sent from Source Leaf-01
*> [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22    <-- Type-7 BGP Join Entry
                   0.0.0.0                                 32768 ?  <-- Locally created (0.0.0.0) by Leaf-02


### IPv6 ###
Leaf-02#sh bgp l2vpn evpn all | b FC00:1:101::11
* i [2][172.16.254.3:101][0][48][F4CFE24334C1][128][FC00:1:101::11]/36 <-- Remote VTEP route-type 2
                    172.16.254.3             0    100      0 ?
*>i                  172.16.254.3             0    100      0 ?      <-- IP of Leaf-01 Lo1


Leaf-02#sh bgp ipv6 mvpn all
     Network          Next Hop              Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)                     <-- default RD for vrf green 
 *>i  [5][1:1][FC00:1:101::11][FF06:1::1]/42                         <-- Type-5, source & group
                      172.16.255.3                0 100        0 ?   <-- IPv4 Next hop Leaf-01 IP
 * i                   172.16.255.3                0 100        0 ?
Route Distinguisher: 172.16.254.3:101                                <-- MVPN RD sent from Source Leaf-01
 *> [7][172.16.254.3:101][65001][FC00:1:101::11][FF06:1::1]/46       <-- Type-7 BGP Join Entry
                    ::                                       32768 ? <-- Locally created (::) by Leaf-02

TRMグループLeaf-01(FHR)を確認します 

MDTおよびTRMグループがソース側で正しく形成されていることを確認します。

• TRMグループの着信インターフェイスは、クライアントVRFに関連付けられたSVIです
• TRMグループの発信インターフェイスはL3VNI SVI 

Leaf-01の確認：TRMグループMRIB/MFIB 

### IPv4 ###
Leaf-01#sh ip mroute vrf green 226.1.1.1 10.1.101.11
(10.1.101.11, 226.1.1.1), 02:57:56/00:03:14, flags: FTGqx <-- Flags: BGP S-A Route
  Incoming interface: Vlan101, RPF nbr 0.0.0.0            <-- Local to Vlan101 Direct connected source 
  Outgoing interface list:
    Vlan901, Forward/Sparse, 02:57:56/stopped             <-- OIF is VxLAN L3VNI 

Leaf-01#sh ip mfib vrf green 226.1.1.1 10.1.101.11
VRF green   <-- Tenant VRF 
(10.1.101.11,226.1.1.1) Flags: HW
  SW Forwarding: 1/0/100/0, Other: 0/0/0
  HW Forwarding: 5166/0/118/0, Other: 0/0/0 <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
  Vlan101 Flags: A                          <-- Accept flag set on Connected Source SVI 
  Vlan102 Flags: F NS
    Pkts: 0/0/1 Rate: 0 pps
  Vlan901, VXLAN v4 Encap (50901, 239.1.1.1) Flags: F <-- Forward via Vlan 901. Use MDT group 239.1.1.1, vxlan tag 50901
    Pkts: 0/0/0 Rate: 0 pps


### IPv6 ###
Leaf-01#sh ipv6 mroute vrf green
(FC00:1:101::11, FF06:1::1), 01:01:00/00:01:08, flags: SFTGq <-- Flags: q - BGP S-A Route, G - BGP Signal Received 
  Incoming interface: Vlan101
  RPF nbr: FE80::F6CF:E2FF:FE43:34C1  <-- link local address of Source 
  Immediate Outgoing interface list:
    Vlan901, Forward, 01:01:00/never  <-- OIF is VxLAN L3VNI

Leaf-01#sh ipv6 mfib vrf green FF06:1::1
VRF green   <-- Tenant VRF
(FC00:1:101::11,FF06:1::1) Flags: HW
   SW Forwarding: 0/0/0/0, Other: 1/0/1
   HW Forwarding: 1968/0/118/0, Other: 0/0/0 <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
   Vlan101 Flags: A NS                       <-- Accept flag set on Connected Source SVI 
   Vlan901, VXLAN v4 Encap (50901, 239.1.1.1) Flags: F <-- Forward via Vlan 901. Use MDT group 239.1.1.1, vxlan tag 50901
     Pkts: 0/0/0 Rate: 0 pps

Leaf-01:FEDのTRMグループを確認します。

### IPv4 ###
Leaf-01#sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11
Multicast (S,G) Information
VRF            : 2     <-- VRF ID 2 = vrf green (from "show vrf detail")
Source Address : 10.1.101.11
HTM Handler    : 0x7f175cc08578
SI Handler     : 0x7f175cc06ea8
DI Handler     : 0x7f175cc067c8
REP RI handler : 0x7f175cc06b38
Flags          : {Svl}
Packet count   : 39140       <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
State          : 4
RPF            :          
     Vlan101   A             <-- Accept on Vlan 101 in Tenant vrf green 
OIF            :
     Vlan102     F NS
       Vlan101   A
       Vlan901   F {Remote}   <-- Forward via L3VNI interface 
             (Adj: 0x6a )     <-- Adjacency for this entry


### IPv6 ###
Leaf-01#sh plat soft fed switch active ipv6 mfib vrf green FF06:1::1/128 FC00:1:101::11
Multicast (S,G) Information
VRF            : 2           <-- VRF ID 2 = vrf green (from "show vrf detail")
Source Address : fc00:1:101::11
HTM Handler    : 0x7fba88d911b8
SI Handler     : 0x7fba88fc4348
DI Handler     : 0x7fba88fc8dc8
REP RI handler : 0x7fba88fc8fd8
Flags          : {Svl}
Packet count   : 2113        <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
State          : 4
RPF            :
     Vlan101   A {Remote}    <-- Accept on Vlan 101 in Tenant vrf green (says remote, but this is a local host)
OIF            :
     Vlan101     A {Remote}
     Vlan901     F {Remote}  <-- Forward via L3VNI interface 
           (Adj: 0x7c )      <-- Adjacency for this entry

Leaf-01:隣接関係が正しいことを確認します。 

### IPv4 ###
Leaf-01#sh platform software fed switch active ip adj
IPV4 Adj entries
dest                                          if_name        dst_mac         si_hdl          ri_hdl         pd_flags adj_id  Last-modified
----                                          -------        -------         ------          ------         -------- -----   ------------------------
239.1.1.1                                     nve1.VNI50901  4500.0000.0000  0x7f175ccd8c38  0x7f175ccd8de8 0x60     0x6a    2020/12/16 17:39:55.747

*** Adjacency 0x6a details ***
Destination = the MDT tunnel multicast group 239.1.1.1
Interface   = nve1.VNI50901 (the L3VNI 50901)


### IPv6 ###
Leaf-01#sh platform software fed switch active ipv6 adj
IPV6 Adj entries
dest                                          if_name        dst_mac         si_hdl          ri_hdl         pd_flags adj_id  Last-modified
----                                          -------        -------         ------          ------         -------- ------  -------------
239.1.1.1                                     nve1.VNI50901  4500.0000.0000  0x7fba88cf9fc8  0x7fba88cfa248 0x60     0x7c    2021/03/22 19:54:09.831

*** Adjacency 0x7c details ***
Destination = the MDT tunnel multicast group 239.1.1.1
Interface   = nve1.VNI50901 (the L3VNI 50901)

TRMグループLeaf-02(LHR)を確認します 

受信側でMDTおよびTRMグループが正しく形成されていることを確認します。

• TRMグループの着信インターフェイスは、L3VNIに関連付けられたSVIです
• TRMグループの発信インターフェイスは、IGMP加入が処理されたクライアントSVIです。 

Leaf-02:MRIB/MFIB内のTRM（テナントマルチキャストルート）ルートの確認

Leaf-02#sh ip mroute vrf green 226.1.1.1 10.1.101.11      <-- The TRM Client group 
(10.1.101.11, 226.1.1.1), 00:26:03/00:02:37, flags: TgQ
  Incoming interface: Vlan901, RPF nbr 172.16.254.3       <-- Via L3VNI, RPF to Leaf-01 
  Outgoing interface list:
    Vlan102, Forward/Sparse, 00:26:03/00:03:10            <-- Client Receiver Vlan 

Leaf-02#sh ip mfib vrf green 226.1.1.1 10.1.101.11
VRF green                                          <--- The Tenant VRF 
  (10.1.101.11,226.1.1.1) Flags: HW
    SW Forwarding: 1/0/100/0, Other: 0/0/0
    HW Forwarding: 39013/0/126/0, Other: 0/0/0     <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
    Vlan901, VXLAN Decap Flags: A                  <-- L3VNI Accept and decapsulate from VxLAN
    Vlan102 Flags: F NS                            <-- Forward to the Tenant Vlan
      Pkts: 0/0/1 Rate: 0 pps

Leaf-02:FEDのTRMグループを確認します。

### IPv4 ###
Leaf-02#sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11 detail <-- Use detail option to resolve DI (Dest Index)
MROUTE ENTRY vrf 2 (10.1.101.11, 226.1.1.1/32)
  HW Handle: 140397391947768 Flags: {Svl}
RPF interface: Vlan901(60)): SVI              <-- RPF interface = L3VNI SVI Vlan901
  HW Handle:140397391947768 Flags:A {Remote}
Number of OIF: 2
Flags: 0x4 Pkts : 39387      <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer) 
OIF Details:
     Vlan102 F NS            <-- Client Vlan 
     Vlan901 A {Remote}      <-- Accept interface is RPF to source via Remote EVPN next hop 
          (Adj: 0xf80003c1 ) <-- Adj for vlan 901(show plat soft fed sw active ipv4 adj) 
Htm: 0x7fb0d0edfb48 Si: 0x7fb0d0ee9158 Di: 0x7fb0d0eca8f8 Rep_ri: 0x7fb0d0ef2b98

DI details  <-- Dest index (egress interface) details
----------
Handle:0x7fb0d0eca8f8 Res-Type:ASIC_RSC_DI Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x538b mtu_index/l3u_ri_index0:0x0 index1:0x538b mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 1)  <-- Gi1/0/10 is mapped to instance 1
----------------------------------------
Destination index = 0x538b
pmap = 0x00000000 0x00000200  
pmap_intf : [GigabitEthernet1/0/10]            <-- Maps to Gi1/0/10, the port toward the client 
==============================================================

### IPv6 ###
Leaf-02#sh platform software fed switch active ipv6 mfib vrf green FF06:1::1/128 FC00:1:101::11 detail
MROUTE ENTRY vrf 2 (fc00:1:101::11, ff06:1::1/128)
  HW Handle: 139852137577736 Flags: {Svl}
RPF interface: Vlan901(62)): SVI              <-- RPF to Source L3VNI SVI 901
  HW Handle:139852137577736 Flags:A {Remote}
Number of OIF: 2
Flags: 0x4 Pkts : 7445       <-- Packets use this Entry
OIF Details:
     Vlan102 F NS            <-- F - Forward. The OIF Vlan SVI 901
     Vlan901 A {Remote}
          (Adj: 0xf80003e2 ) <-- Adj for vlan 901 (show plat soft fed sw active ipv6 adj)
Htm: 0x7f31dcfee238 Si: 0x7f31dcfba5d8 Di: 0x7f31dcfc2358 Rep_ri: 0x7f31dcfcb1a8

DI details
----------
Handle:0x7f31dcfc2358 Res-Type:ASIC_RSC_DI Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV6 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x5381 mtu_index/l3u_ri_index0:0x0 index1:0x5381 mtu_index/l3u_ri_index1:0x0

Brief Resource Information (ASIC_INSTANCE# 1)   <-- Gig1/0/10 is mapped to Instance 1 
----------------------------------------
Destination index = 0x5381
pmap = 0x00000000 0x00000200
pmap_intf : [GigabitEthernet1/0/10]             <-- Maps to Gig1/0/10, the port toward the client 
==============================================================


Leaf-02#sh platform software fed switch active ifm mappings
Interface                 IF_ID    Inst Asic Core Port SubPort Mac Cntx LPN GPN Type Active
GigabitEthernet1/0/10     0x12       1   0   1    9      0      5   15   10  10  NIF  Y    <-- Instance 1 of ASIC 0

リーフ–02の確認：取得したパケットキャプチャに、内部クライアントトラフィックを含む外部MDTトンネルグループが示されています。 

Leaf-02#sh mon ca 1 parameter
monitor capture 1 interface GigabitEthernet1/0/2 IN
monitor capture 1 match any
monitor capture 1 buffer size 10
monitor capture 1 limit pps 1000


### IPv4 ###
Leaf-02#sh mon capture 1 buffer detailed
Ethernet II, Src: 7c:21:0d:bd:2c:d6 (7c:21:0d:bd:2c:d6), Dst: 01:00:5e:01:01:01 (01:00:5e:01:01:01) <-- MAC is matching 239.1.1.1
    Type: IPv4 (0x0800)  <-- IPv4 outer packet
Internet Protocol Version 4, Src: 172.16.254.3, Dst: 239.1.1.1 <- Leaf-01 Source IP and MDT outer tunnel Group 
    0100 .... = Version: 4
    .... 0101 = Header Length: 20 bytes (5)
    Time to live: 253
User Datagram Protocol, Src Port: 65287, Dst Port: 4789 <-- VxLAN UDP port 4789

Virtual eXtensible Local Area Network
Flags: 0x0800, VXLAN Network ID (VNI)
Group Policy ID: 0
VXLAN Network Identifier (VNI): 50901 <-- L3VNI value 
   Type: IPv4 (0x0800)                <-- IPv4 inner packet
Internet Protocol Version 4, Src: 10.1.101.11, Dst: 226.1.1.1 <-- Encapsulated IPv4 TRM group 
    0100 .... = Version: 4
    Time to live: 254
    Protocol: ICMP (1)
(multiple lines removed from this example capture)


### IPv6 ###
Leaf-02#sh mon capture 1 buffer detailed
Ethernet II, Src: 7c:21:0d:bd:2c:d6 (7c:21:0d:bd:2c:d6), Dst: 01:00:5e:01:01:01 (01:00:5e:01:01:01)  <-- DMAC is matching 239.1.1.1
    Type: IPv4 (0x0800)            <-- IPv4 outer packet
Internet Protocol Version 4, Src: 172.16.254.3, Dst: 239.1.1.1 
    0100 .... = Version: 4
    .... 0101 = Header Length: 20 bytes (5)
    Differentiated Services Field: 0x00 (DSCP: CS0, ECN: Not-ECT)
        0000 00.. = Differentiated Services Codepoint: Default (0)
        .... ..00 = Explicit Congestion Notification: Not ECN-Capable Transport (0)
    Total Length: 150
    Identification: 0x4e4b (20043)
    Flags: 0x4000, Don't fragment
        0... .... .... .... = Reserved bit: Not set
        .1.. .... .... .... = Don't fragment: Set  <-- DF flag=1. MTU can be an issue if too low in path
        ..0. .... .... .... = More fragments: Not set
    ...0 0000 0000 0000 = Fragment offset: 0
    Time to live: 253
    Protocol: UDP (17)
    Header checksum: 0x94f4 [validation disabled]
    [Header checksum status: Unverified]
    Source: 172.16.254.3
    Destination: 239.1.1.1
User Datagram Protocol, Src Port: 65418, Dst Port: 4789 <-- VxLAN UDP port 4789
    Source Port: 65418
    Destination Port: 4789
<...snip...>
Virtual eXtensible Local Area Network
    Flags: 0x0800, VXLAN Network ID (VNI)
        0... .... .... .... = GBP Extension: Not defined
        .... .... .0.. .... = Don't Learn: False
        .... 1... .... .... = VXLAN Network ID (VNI): True
        .... .... .... 0... = Policy Applied: False
        .000 .000 0.00 .000 = Reserved(R): 0x0000
    Group Policy ID: 0
    VXLAN Network Identifier (VNI): 50901 <-- L3VNID 50901
    Reserved: 0
Ethernet II, Src: 10:b3:d5:6a:00:00 (10:b3:d5:6a:00:00), Dst: 33:33:00:00:00:01 (33:33:00:00:00:01) <-- DMAC matches ff06:1::1
    Type: IPv6 (0x86dd)                  <-- IPv6 inner packet
Internet Protocol Version 6, Src: fc00:1:101::11, Dst: ff06:1::1 <-- Encapsulated IPv6 TRM group
    0110 .... = Version: 6
<...snip...>
    Source: fc00:1:101::11
    Destination: ff06:1::1
Internet Control Message Protocol v6
    Type: Echo (ping) request (128)
<...snip...>

シナリオ2：ファブリック内のPIM SSM 

このモードでは、オーバーレイにRPはなく、MVPN Type-5またはType-7も使用されません（アンダーレイは引き続きPIM ASMとして動作します）。 SSMでは、受信側がLHR VTEPに向けてIGMPv3 S,G joinを送信します。このVTEPは、RIB内の送信元のRPFルックアップを実行します。RPFインターフェイスとしてL3VNI SVIが検出されると、LHR VTEPは、このルートを受信してインストールするFHR VTEPにMVPN RT-7を送信します。次にFHR VTEPは、S,G mrouteの発信インターフェイスとしてL3VNI SVIを追加するようにPIMに通知します。 

このセクションでは、シナリオ1との違いを示します。同じ手順と方法については、シナリオ1でのみ説明します。

• BGPとPIMの動作は同じであるため、シナリオ1のBGPとPIMの確認およびデバッグ手順を参照してください 

ネットワーク図

このモードでは、次のBGPルートタイプとその起点について考えます

作成者：ソースVTEP

• EVPNルートタイプ2。発信元のユニキャストおよびVRI情報を取得するために使用され、VTEPがSTPツリーに参加するときにC – マルチキャストルート（MVPNタイプ7）に追加されます。 

作成者：レシーバVTEP

• MVPNルートタイプ7。IGMPまたはMLDレイヤからの情報とEVPN Type-2からの情報を使用して、このBGPタイプの加入が作成されます。タイプ7は、ソース側でのMRIB OIFの作成を駆動します。 

EVPN Type-2の要件：

1. FHR（送信元VTEP）は、ARP（またはND）およびCEF隣接関係（送信元が直接接続されていることを確認）を確認します。 
2. FHRがEVPNタイプ2 BGPアップデートを発信します。 

MVPN Type-7の要件：

1. EVPNタイプ2エントリが存在する（正しいVRIを使用して送信元VTEPから送信されるC – マルチキャストルートタイプ7を構築するために必要）
2. レシーバVTEP:IGMPv3ソース固有メンバーシップレポートがLHR VTEPによって受信され、処理されました
3. LHR VTEP RPFインターフェイスは、ファブリックL3VNIインターフェイスです

このモードでは、SSM範囲を有効にし、IGMPv3メンバシップレポートを処理するために、LHR VTEPで必要な設定が追加されています 

Leaf-03の設定：テナントSVIでIGMPクエリアをバージョン3に設定します 

interface Vlan102
vrf forwarding green
ip address 10.1.102.1 255.255.255.0
ip pim sparse-mode
ip igmp version 3  <-- Sets the version to V3 
end

Leaf-03の確認：IGMPクエリアがバージョン3に設定されていることを確認します。 

Leaf-03#sh ip igmp snooping querier vlan 102
IP address : 10.1.102.1   <-- IP is that of the Vlan102 SVI
IGMP version : v3         <-- Querier is now version 3 
Port : Router             <-- Mrouter port is "Router" meaning querier is local to this VTEP
Max response time : 10s
Query interval : 60s
Robustness variable : 2

リーフ–03の有効化：テナントVRFに必要なSSMの範囲 

Leaf-03(config)#ip pim vrf green ssm ?
default    Use 232/8 group range for SSM          <-- Set to the normally defined SSM range 
range      ACL for group range to be used for SSM <-- use an ACL to define a non-default SSM range 

ヒント: SSMグループは*,G mrouteを作成しません。グループに*,Gが表示される場合は、SSMの設定が正しいことを確認します。

このシナリオに必要なイベントのシーケンスの確認

ステップ0 EVPN(Leaf-03):BGPがMVPNタイプ7で使用するVRIを見つけることができるEVPNプレフィックスがあることを確認します。

Leaf-03#sh bgp l2vpn evpn all
BGP table version is 16, local router ID is 172.16.255.6
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
              t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network          Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
* i [2][172.16.254.3:101][0][48][F4CFE24334C1][32][10.1.101.11]/24         
                    172.16.254.3 0 100 0 ?
*>i                  172.16.254.3 0 100 0 ? <-- From Leaf-01 


Leaf-03#sh bgp l2vpn evpn all route-type 2 0 F4CFE24334C1 10.1.101.11     <-- Detailed view of the EVPN type-2 entry 
BGP routing table entry for [2][172.16.254.3:101][0][48][F4CFE24334C1][32][10.1.101.11]/24, version 283
Paths: (2 available, best #2, table EVPN-BGP-Table) 
  Not advertised to any peer
  Refresh Epoch 1
  Local
    172.16.254.3 (metric 3) (via default) from 172.16.255.1 (172.16.255.1)
      Origin incomplete, metric 0, localpref 100, valid, internal, best
      EVPN ESI: 00000000000000000000, Gateway Address: 0.0.0.0, VNI Label 50901, MPLS VPN Label 0
      Extended Community: RT:1:1 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.3:4 ENCAP:8 Router MAC:10B3.D56A.8FC8        <-- BGP finds the VRI in this entry 
      Originator: 172.16.255.3, Cluster list: 172.16.255.1
      rx pathid: 0, tx pathid: 0x0
      Updated on May 6 2021 16:17:06 UTC

ステップ1(Leaf-03):IGMPv3メンバシップレポートを受信し、送信元を含んでいます。 

Leaf-03#show ip igmp snooping groups vlan 102 226.1.1.1
Vlan      Group                    Type        Version      Port List
-----------------------------------------------------------------------
102       226.1.1.1                igmp        v3           Gi1/0/10


Leaf-03#show ip igmp snooping groups vlan 102 226.1.1.1 sources <-- Specify "sources" to see Source information
Vlan      Group                    Type        Version      Port List
-----------------------------------------------------------------------

Source information for group 226.1.1.1:
Timers: Expired sources are deleted on next IGMP General Query

SourceIP       Expires   Uptime    Inc Hosts Exc Hosts
-------------------------------------------------------
10.1.101.11    00:01:20  00:02:58  1         0                 <-- Source specified in IGMP includes one source 

ステップ2(Leaf-03):BGPにこの加入が通知され、タイプ7 MVPN加入を作成して送信します。 

debug mvpn 
debug ip igmp vrf green 226.1.1.1

May 6 17:11:08.500: IGMP(6): Received v3 Report for 1 group on Vlan102 from 10.1.102.12 
May 6 17:11:08.500: IGMP(6): Received Group record for group 226.1.1.1, mode 5 from 10.1.102.12 for 1 sources <-- IGMPv3 type join 
May 6 17:11:08.500: IGMP(6): WAVL Insert group: 226.1.1.1 interface: Vlan102 Successful
May 6 17:11:08.500: IGMP(6): Create source 10.1.101.11
May 6 17:11:08.500: IGMP(6): Updating expiration time on (10.1.101.11,226.1.1.1) to 180 secs
May 6 17:11:08.500: IGMP(6): Setting source flags 4 on (10.1.101.11,226.1.1.1)
May 6 17:11:08.500: IGMP(6): MRT Add/Update Vlan102 for (10.1.101.11,226.1.1.1) by 0

May 6 17:11:08.501: MVPN: Received local route update for (10.1.101.11, 226.1.1.1) with RD: 1:1, Route Type: 7, flags: 0x00 <-- MVPN process gets updated
May 6 17:11:08.501: MVPN: Route Type 7 added [(10.1.101.11, 226.1.1.1)] rd:1:1 send:1
May 6 17:11:08.501: MVPN: Sending BGP prefix=[7:0 1:1 : (10.1.101.11,226.1.1.1)] len=23, nh 172.16.254.3, Originate route    
May 6 17:11:08.501: MVPN: Originate C-route, BGP remote RD 1:1                                                              <-- MVPN Sends the type-7 join to Source leaf


Leaf-03#sh bgp ipv4 mvpn all
BGP table version is 10, local router ID is 172.16.255.6
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
              t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network          Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
*>    [7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22     <-- Locally created Type-7 
                      0.0.0.0                           32768 ?


Leaf-03#sh ip mroute vrf green 226.1.1.1                   <-- for SSM you only see S,G and no *,G 
IP Multicast Routing Table
<...snip...>

(10.1.101.11, 226.1.1.1), 00:29:12/00:02:46, flags: sTIg <-- s = SSM, I = Source Specific Join received, g = Sent BGP C-Mroute
  Incoming interface: Vlan901, RPF nbr 172.16.254.3      <-- RPF interface is the L3VNI 
  Outgoing interface list:
    Vlan102, Forward/Sparse, 00:29:12/00:02:46

ステップ3(Leaf-01):ソースリーフがMVPNタイプ7参加ルートを受信してインストールし、L3VNI OIFをインストールするようにPIMに通知します

debug mvpn
debug ip pim vrf green 226.1.1.1

May 6 18:16:07.260: MVPN: Received BGP prefix=[7:65001 1:1 : (10.1.101.11,226.1.1.1)] len=23, nexthop: 172.16.255.6, router-id: 172.16.255.1, Accept route <-- Receive and accept type-7
May 6 18:16:07.260: MVPN: Received BGP route update for (10.1.101.11, 226.1.1.1) with RD: 1:1, Route Type: 7, flags: 0x01
May 6 18:16:07.260: MVPN: Route Type 7 added [(10.1.101.11, 226.1.1.1), nh 172.16.255.6] rd:1:1 send:0, to us   <-- add type-7 route
May 6 18:16:07.260: PIM(4)[green]: Join-list: (10.1.101.11/32, 226.1.1.1), S-bit set, BGP C-Route
May 6 18:16:07.263: PIM(4)[green]: Add Vlan901/0.0.0.0 to (10.1.101.11, 226.1.1.1), Forward state, by BGP SG Join  <-- PIM adds Vlan901 L3VNI ad OIF based on BGP join
May 6 18:16:07.264: PIM(4)[green]: Insert (10.1.101.11,226.1.1.1) join in nbr 10.1.101.11's queue
May 6 18:16:07.264: MVPN(green[AF_IPv4]): Add (10.1.101.11, 226.1.1.1) intf Vlan901 olist Join state for BGP C-Rt type 7 Accept <-- MVPN add Vlan901 OIF from type-7


Leaf-01#sh bgp ipv4 mvpn all
<...snip...>
    Network           Next Hop             Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
*>i [7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22
                    172.16.255.6             0    100         0 ?   <-- Recieved from Reciever Leaf-03 
* i                  172.16.255.6             0    100         0 ?

Leaf-01#sh ip mroute vrf green 226.1.1.1
<...snip...>
(10.1.101.11, 226.1.1.1), 00:42:41/stopped, flags: sTGx             <-- s = SSM Group, G = Received BGP C-Mroute
  Incoming interface: Vlan101, RPF nbr 10.1.101.11
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:42:41/stopped                       <-- L3VNI installed as OIF interface 

ステップ4 & 5（Leaf-01およびLeaf-03）:マルチキャストがFHRリーフに到達し、ファブリック経由でLHRリーフに送信されます。検証コマンドの要約を以下に示します。これらのコマンドの詳細な検証は、「シナリオ1」で確認できます。

show ip mroute vrf green 226.1.1.1 count                                                 <-- software mroute counters
show ip mfib vrf green 226.1.1.1 <verbose>                                               <-- hardware mroute details & counters 
sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11 detail <-- ASIC entry details and counters 

シナリオ3：ファブリック内の単一RP（通常のスパースモード）

このモードは、非エニーキャストRPモードまたは外部RPモードと同じ意味で呼ばれます。このモードでは、オーバーレイに1つのRPしかありません。したがって、オーバーレイの(*,G)ツリーは複数のサイトにまたがることがあります。BGPはMVPN RT-6を使用して、ファブリック全体に(*,G)メンバーシップをアドバタイズします。RPとFHRが異なるサイトにある場合、PIMレジスタがファブリック経由で送信されます。これは、オーバーレイのPIM SMのデフォルト動作モードです。

ネットワーク図

このモードでは、次のBGPルートタイプとその起点について考えます

作成者：ソースVTEP

• EVPNルートタイプ2。発信元のユニキャストおよびVRI情報を取得するために使用され、VTEPがSTPツリーに参加するときにC – マルチキャストルート（MVPNタイプ7）に追加されます。 
• MVPNルートタイプ5。S、GのVTEPに送信される送信元A ～ Dルート

作成者：RP VTEP

• EVPNルートタイプ5。RPループバックのユニキャストおよびVRI情報の取得に使用されます。ループバックではルートタイプ2は作成されないため、タイプ5が使用されます。 
• MVPNルートタイプ7。これは、EVPN Type-2から取得されソースVTEPに送信されるIGMP参加+ RT VRIの詳細であり、MRIB OIFの作成を駆動します。 

作成者：レシーバVTEP

• MVPNルートタイプ6』を参照してください。 共有ツリー*,G（RPTツリー）をRPに参加させるためにレシーバVTEPによって作成されるルートタイプ。 
• MVPNルートタイプ7。IGMPまたはMLDレイヤからの情報とEVPN Type-2からの情報を使用して、このBGPタイプの加入が作成されます。タイプ7は、ソース側でのMRIB OIFの作成を駆動します。 

EVPN Type-2の要件：

1. FHR（送信元VTEP）は、ARP（またはND）およびCEF隣接関係（送信元が直接接続されていることを確認）を確認します。 
2. FHRがEVPNタイプ2 BGPアップデートを発信します。 

EVPN Type-5要件：

1. RPループバックが設定され、BGPにアドバタイズされる  

MVPNタイプ5の要件：

このモードでは、ソース・サイトのリーフは、次の2つの条件が満たされた場合にのみ、(S,G)のソース・アクティブなA-Dメッセージをアドバタイズします。

1. 送信元へのトラフィックをRPFインターフェイスで受信する（送信元がFHRにmcastを送信）
2. L3VNI SVIインターフェイスは、PIM登録プロセスの一部としてRPからS,G joinを実行した結果として、(S,G)エントリのフォワーディングインターフェイスとして追加されます。（L3VNI SVIはOIFリストにインストールされます）

MVPNタイプ6の要件：

1. RPは、VRIおよびユニキャスト到達可能性の詳細を含むEVPNタイプ5ルートをアドバタイズしました。 
2. RPへのBGPアップデートをトリガーするLHRでIGMP joinを受信する

MVPN Type-7の要件：

1. EVPNタイプ2エントリが存在する（正しいVRIを使用して送信元VTEPから送信されるC – マルチキャストルートタイプ7を構築するために必要）
2. MVPN Type-5エントリが存在する（STP加入に使用できる送信元/グループペアを解決するために必要）
3. レシーバVTEP:IGMPメンバシップレポートがLHR VTEPによって受信され、処理されました
4. RP VTEP:RPはマルチキャスト登録パケットを受信し、EVPNルートを取得し、S,Gのレシーバを保持しています（type-6で学習）。 
5. LHR VTEP RPFインターフェイスは、ファブリックL3VNIインターフェイスです

ヒント：出力LHRで、VTEP PIMは送信元へのパスをチェックします。PIMは、RIB内でRPFインターフェイスとしてL3VNIであるルートを見つける必要があります。L3VNIが適切に設定されていない場合、ダウンしている場合などがこれに該当します。VTEPはタイプ7 BGP参加を作成しません。 

このシナリオに必要なイベントのシーケンスの確認

レシーバVTEPが最初に共有ツリーに参加し、次に最短パスツリーにカットオーバーするために必要な手順を検証します。これには、BGPテーブル、IGMP、およびMRIBの作成状態のチェックが含まれます。

ステップEVPN(Leaf-03):RPからのEVPNタイプ5がLHRで学習されます。これは、受信側VTEPがMVPNタイプ6ルートを作成するために必要です 

Leaf-03#sh bgp l2vpn evpn all route-type 5 0 10.2.255.255 32
...or you can also use:
Leaf-03#sh bgp l2vpn evpn detail [5][1:1][0][32][10.2.255.255]/17
BGP routing table entry for [5][1:1][0][32][10.2.255.255]/17, version 25
Paths: (2 available, best #1, table EVPN-BGP-Table)
  Not advertised to any peer
  Refresh Epoch 2
  Local
    172.16.254.4 (metric 3) (via default) from 172.16.255.1 (172.16.255.1) <-- RP's global next hop IP
      Origin incomplete, metric 0, localpref 100, valid, internal, best
      EVPN ESI: 00000000000000000000, Gateway Address: 0.0.0.0, VNI Label 50901, MPLS VPN Label 0
      Extended Community: RT:1:1 MVPN AS:65001:0.0.0.0
        MVPN VRF:172.16.255.4:2 ENCAP:8 Router MAC:7C21.0DBD.9548 
      Originator: 172.16.255.4, Cluster list: 172.16.255.1
      rx pathid: 0, tx pathid: 0x0
      Updated on Jan 13 2021 19:09:31 UTC
  Refresh Epoch 2
  Local

MVPN VRF:172.16.255.4:2   <-- MVPN VRI  
Router MAC:7C21.0DBD.9548 <-- Leaf-02 RMAC 

ステップ1(Leaf-03):IGMPメンバシップレポートを受信しました

Leaf-03#sh ip igmp snooping groups
Vlan     Group            Type                Version        Port List
-----------------------------------------------------------------------
102      224.0.1.40       igmp                v2             Gi1/0/10
102      226.1.1.1        igmp                v2             Gi1/0/10   <-- Client has joined 

ステップ2(Leaf-03):MVPN Type-6を作成してRPに送信し、RPで受信します(Leaf-02)。

#### Type-6 from the Receiver VTEP perspective ###
Leaf-03#sh bgp ipv4 mvpn all route-type 6 1:1 65001 10.2.255.255 226.1.1.1  <-- Source is RP Loopback
...or you can also use:
Leaf-03#sh bgp ipv4 mvpn detail [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
BGP routing table entry for [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22, version 13
Paths: (1 available, best #1, table MVPNv4-BGP-Table)
  Advertised to update-groups:
      1
  Refresh Epoch 1
  Local
    0.0.0.0 from 0.0.0.0 (172.16.255.6) <-- Generated locally 
      Origin incomplete, localpref 100, weight 32768, valid, sourced, local, best
      Extended Community: RT:172.16.255.4:2 <-- VRI Ext Comm added from EVPN Type-5 
      rx pathid: 2, tx pathid: 0x0
      Updated on Jan 14 2021 14:51:29 UTC


#### Type-6 from the RP perspective  ###
Leaf-02#sh bgp ipv4 mvpn all route-type 6 1:1 65001 10.2.255.255 226.1.1.1 <-- type-6, RD 1:1, AS 65001, Source/Group
...or you can also use:
Leaf-02#sh bgp ipv4 mvpn detail [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
BGP routing table entry for [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22, version 25
Paths: (2 available, best #1, table MVPNv4-BGP-Table)
   Flag: 0x100
   Not advertised to any peer
   Refresh Epoch 2
   Local
     172.16.255.6 (metric 3) from 172.16.255.1 (172.16.255.1)
       Origin incomplete, metric 0, localpref 100, valid, internal, best
       Extended Community: RT:172.16.255.4:2 <-- Contains VRI learned from EVPN Type-5 
      Originator: 172.16.255.6, Cluster list: 172.16.255.1 <-- Sent from Leaf03 IP to RP 
      rx pathid: 0, tx pathid: 0x0
      Updated on Jan 14 2021 14:54:29 UTC

ステップ1および2デバッグ(Leaf-01):IGMPレポート、EVPNソースルックアップ、およびMVPNタイプ6作成 

debug ip igmp vrf green 226.1.1.1
debug bgp ipv4 mvpn updates
debug bgp ipv4 mvpn updates events

### Client sends IGMP membership report ### 

### IGMP processes this IGMP report ###
*Feb 1 21:13:19.029: IGMP(2): Received v2 Report on Vlan102 from 10.1.102.12 for 226.1.1.1   <--- IGMP processes received report 
*Feb 1 21:13:19.029: IGMP(2): Received Group record for group 226.1.1.1, mode 2 from 10.1.102.12 for 0 sources
*Feb 1 21:13:19.029: IGMP(2): WAVL Insert group: 226.1.1.1 interface: Vlan102 Successful 
*Feb 1 21:13:19.029: IGMP(2): Switching to EXCLUDE mode for 226.1.1.1 on Vlan102
*Feb 1 21:13:19.029: IGMP(2): Updating EXCLUDE group timer for 226.1.1.1
*Feb 1 21:13:19.029: IGMP(2): MRT Add/Update Vlan102 for (*,226.1.1.1) by 0   <--- Notify MRT to add Vlan 102 into Outgoing interface list


### BGP is informed by IGMP, does an EVPN source lookup, creates the MVPN Type-6 route, sends to RR ###
(Without the EVPN Type-5 prefix already in BGP you see IGMP debugs trigger, but no subsequent BGP debugs as seen here)

*Feb 1 21:13:19.033: BGP[15] MVPN: add c-route, type 6, bs len 0 asn=0, rd=1:1, <-- Start creation of Type-6 C-multicast Shared Tree Join
*Feb 1 21:13:19.033: source=10.2.255.255/4,  <-- RP loopback255
*Feb 1 21:13:19.033: group=226.1.1.1/4,      <-- Group IP
*Feb 1 21:13:19.033: nexthop=172.16.254.4,   <-- Global Next-Hop learned from EVPN VRI
*Feb 1 21:13:19.033: len left = 0
*Feb 1 21:13:19.033: BGP[14] MVPN umh lookup: vrfid 2, source 10.2.255.255 <-- UMH (upstream multicast hop) as found in the RT of the EVPN type-5
*Feb 1 21:13:19.033: BGP[4] MVPN umh lookup: vrfid 2, source 10.2.255.255, net 1:1:10.2.255.255/32, 1:1:10.2.255.255/32 with matching nexthop 172.16.254.4, remote-rd [1:1]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.4:2, <-- EVPN info adding to MVPN
*Feb 1 21:13:19.033: BGP: MVPN(15) create local route [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22     <--- MVPN creating type-6 
*Feb 1 21:13:19.033: BGP[15] MVPN: add c-route, type 6, bs len 0 asn=65001, rd=1:1,
*Feb 1 21:13:19.033: source=10.2.255.255/4,
*Feb 1 21:13:19.033: group=226.1.1.1/4,
*Feb 1 21:13:19.033: nexthop=172.16.254.4,
*Feb 1 21:13:19.033: len left = 0
*Feb 1 21:13:19.033: BGP[14] MVPN umh lookup: vrfid 2, source 10.2.255.255
*Feb 1 21:13:19.033: BGP[4] MVPN umh lookup: vrfid 2, source 10.2.255.255, net 1:1:10.2.255.255/32, 1:1:10.2.255.255/32 with matching nexthop 172.16.254.4, remote-rd [1:1]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.4:2,
*Feb 1 21:13:19.034: BGP(15): skip vrf default table RIB route [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
*Feb 1 21:13:19.034: BGP(15): 172.16.255.1 NEXT_HOP self is set for sourced RT Filter for net [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22
*Feb 1 21:13:19.034: BGP(15): (base) 172.16.255.1 send UPDATE (format) [6][1:1][65001][10.2.255.255/32][226.1.1.1/32]/22, next 172.16.255.6, metric 0, path Local, extended community RT:172.16.255.4:2 <-- Advertise to RR (172.16.255.1)

ステップ3 & 4(Leaf-01):FHRの観点から、S,G create & Registerイベントを検証します（S,G create & Registerはほぼ同時に発生）。

  3. データトラフィックが開始し、S,GがFHR VTEPで作成されます。「未検出のマルチキャスト送信元」セクションに記載されている要件は、ここで適用されます。 

  4. Leaf-01がPIMトンネル経由でRPへのソース登録を実行 

Leaf-01#debug ip pim vrf green 226.1.1.1
PIM debugging is on

Leaf-01#debug ip mrouting vrf green 226.1.1.1
IP multicast routing debugging is on

### Debugs for PIM and Mroute show creation of S,G and PIM register encap event ###
*Jan 29 18:18:37.602: PIM(2): Building Periodic (*,G) Join / (S,G,RP-bit) Prune message for 226.1.1.1
*Jan 29 18:18:58.426: MRT(2): (10.1.101.11,226.1.1.1), RPF install from /0.0.0.0 to Vlan101/10.1.101.11<-- S,G is creation message (MRT process)
*Jan 29 18:18:58.427: PIM(2): Adding register encap tunnel (Tunnel4) as forwarding interface of (10.1.101.11, 226.1.1.1). <-- Sending via register (PIM process) 
*Jan 29 18:18:58.427: MRT(2): Set the F-flag for (*, 226.1.1.1)
*Jan 29 18:18:58.427: MRT(2): Set the F-flag for (10.1.101.11, 226.1.1.1)
*Jan 29 18:18:58.428: MRT(2): Create (10.1.101.11,226.1.1.1), RPF (Vlan101, 10.1.101.11, 0/0) <-- S,G is creation message (MRT process)
*Jan 29 18:18:58.428: MRT(2): Set the T-flag for (10.1.101.11, 226.1.1.1)


### Tunnel 4 is PIM Register tunnel (Encap: encapsulate in tunnel to RP) ####
Leaf-01#sh int tunnel4
Tunnel4 is up, line protocol is up
  Hardware is Tunnel
  Description: Pim Register Tunnel (Encap) for RP 10.2.255.255 on VRF green <-- VRF green for Leaf-02 RP 
  Interface is unnumbered. Using address of Loopback901 (10.1.255.1)        <-- Local Loopback 


### S,G is created when Source sends data traffic ###
Leaf-01#sh ip mroute vrf green 226.1.1.1
IP Multicast Routing Table
<...snip...>
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(*, 226.1.1.1), 00:00:16/stopped, RP 10.2.255.255, flags: SPF
  Incoming interface: Vlan901, RPF nbr 172.16.254.4
  Outgoing interface list: Null

(10.1.101.11, 226.1.1.1), 00:00:16/00:02:47, flags: FTGqx
  Incoming interface: Vlan101, RPF nbr 10.1.101.11, Registering <-- S,G created, in Register state, RPF IP is the /32 host prefix for this source
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:00:16/00:02:43 <-- OIF is the L3VNI SVI 


#### Checking S,G in Hardware ###
Leaf-01#sh platform software fed switch active ip mfib vrf green 226.1.1.1/32 10.1.101.11 de
MROUTE ENTRY vrf 2 (10.1.101.11, 226.1.1.1/32) <-- VRF 2 is the ID for vrf green
  HW Handle: 140213987784872 Flags: {Svl}
RPF interface: Vlan101(59)): SVI               <-- RPF is Direct connected on a Local Subnet
  HW Handle:140213987784872 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 336         <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     Vlan101 A                <-- Accept interface is programmed correctly 
     Vlan901 F {Remote}       <-- Forward interface is L3VNI SVI 
        (Adj: 0x5f )          <-- Validate this Adj 
Htm: 0x7f861cf071b8 Si: 0x7f861cf04838 Di: 0x7f861cf097a8 Rep_ri: 0x7f861ceecb38


### Check ADJ 0x5f for next hop details ###
Leaf-01#sh platform software fed switch active ip adj
IPV4 Adj entries
dest          if_name               dst_mac         si_hdl         ri_hdl         pd_flags adj_id   Last-modified
----          -------               -------         ------         ------         -------- -----    ------------------------
239.1.1.1     nve1.VNI50901         4500.0000.0000  0x7f861ce659b8 0x7f861ce65b68 0x60     0x5f      2021/01/29 17:07:06.568

Dest = MDT default group 239.1.1.1
Outgoing Interface = Nve1 using L3 VNI 50901

ステップ4(Leaf-02):RPの観点から、ソース登録がRPに到達し、S,Gが作成されることを確認します。 

### PIM debugs showing PIM register event ###
Leaf-02#debug ip pim vrf green 226.1.1.1
PIM debugging is on

*Jan 29 18:21:35.500: PIM(2): Building Periodic (*,G) Join / (S,G,RP-bit) Prune message for 226.1.1.1
*Jan 29 18:21:35.500: PIM: rp our address                                     <-- Leaf-02 is the RP 
*Jan 29 18:21:41.005: PIM(2): Received v2 Register on Vlan901 from 10.1.255.1 <--- IP of Lo901 on Leaf-01 sent register
*Jan 29 18:21:41.005: for 10.1.101.11, group 226.1.1.1
*Jan 29 18:21:41.006: PIM(2): Adding register decap tunnel (Tunnel4) as accepting interface of (10.1.101.11, 226.1.1.1).
*Jan 29 18:21:41.008: PIM(2): Upstream mode for (10.1.101.11, 226.1.1.1) changed from 1 to 2

### Tunnel 4 is PIM Register tunnel (decap) ####
Leaf-02#sh int tunnel 4
Tunnel4 is up, line protocol is up
  Hardware is Tunnel
  Description: Pim Register Tunnel (Decap) for RP 10.2.255.255 on VRF green <-- decap side of register tunnel 
  Interface is unnumbered. Using address of Loopback255 (10.2.255.255)      <-- RP IP


### Mroute debugs show pim Register triggering S,G ###
Leaf-02#debug ip mrouting vrf green 226.1.1.1
IP multicast routing debugging is on

*Jan 29 20:44:31.483: MRT(2): (10.1.101.11,226.1.1.1), RPF install from /0.0.0.0 to Vlan901/172.16.254.3 <-- RPF is to Leaf-01
*Jan 29 20:44:31.485: MRT(2): Create (10.1.101.11,226.1.1.1), RPF (Vlan901, 172.16.254.3, 200/0)         <-- Create the S,G 
*Jan 29 20:44:33.458: MRT(2): Set the T-flag for (10.1.101.11, 226.1.1.1)                                <-- Set SPT bit for S,G 


### S,G is created and traffic is now sent along the *,G shared tree  ###
Leaf-02#sh ip mroute vrf green
IP Multicast Routing Table
Flags: D - Dense, S - Sparse, B - Bidir Group, s - SSM Group, C - Connected,
       L - Local, P - Pruned, R - RP-bit set, F - Register flag,
       T - SPT-bit set, J - Join SPT, M - MSDP created entry, E - Extranet,
       X - Proxy Join Timer Running, A - Candidate for MSDP Advertisement,
       U - URD, I - Received Source Specific Host Report,
       Z - Multicast Tunnel, z - MDT-data group sender,
       Y - Joined MDT-data group, y - Sending to MDT-data group,
       G - Received BGP C-Mroute, g - Sent BGP C-Mroute,
       N - Received BGP Shared-Tree Prune, n - BGP C-Mroute suppressed,
       Q - Received BGP S-A Route, q - Sent BGP S-A Route,
       V - RD & Vector, v - Vector, p - PIM Joins on route,
       x - VxLAN group, c - PFP-SA cache created entry,
       * - determined by Assert, # - iif-starg configured on rpf intf,
       e - encap-helper tunnel flag
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(*, 226.1.1.1), 00:05:49/stopped, RP 10.2.255.255, flags: SGx <-- Sparse, Received BGP C-Mroute
  Incoming interface: Null, RPF nbr 0.0.0.0                   <-- RP is us (Incoming Interface Null with 0.0.0.0 RPF) 
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:05:49/stopped             

(10.1.101.11, 226.1.1.1), 00:01:22/00:01:41, flags: PTXgx     <-- Pruned, SPT bit, Sent BGP C-Mroute
  Incoming interface: Vlan901, RPF nbr 172.16.254.3           <-- Leaf-01 is RPF next hop 
  Outgoing interface list: Null                            

ステップ5(Leaf-02):RPにレシーバがあるため、すぐに作成されたタイプ7 MVPN送信元ツリーへの参加ルート 

Leaf-02#sh ip mroute vrf green 226.1.1.1
<...snip...>
(*, 226.1.1.1), 00:02:22/00:00:37, RP 10.2.255.255, flags: SGx
  Incoming interface: Null, RPF nbr 0.0.0.0
  Outgoing interface list:
    Vlan901, Forward/Sparse, 00:02:22/00:00:37   <-- L3 VNI is populated from Receiver BGP Type-6 join 


#### Debugs showing Type-7 creation from RP ####
Leaf-02#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast

Leaf-02#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 18:21:41.008: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=0, rd=1:1,
*Jan 29 18:21:41.008: source=10.1.101.11/4,
*Jan 29 18:21:41.008: group=226.1.1.1/4,
*Jan 29 18:21:41.008: nexthop=172.16.254.3,    <-- Leaf-01 Global next hop 
*Jan 29 18:21:41.008: len left = 0
*Jan 29 18:21:41.008: BGP[14] MVPN umh lookup: vrfid 2, source 10.1.101.11
*Jan 29 18:21:41.008: BGP[4] MVPN umh lookup: vrfid 2, source 10.1.101.11, net 1:1:10.1.101.11/32, 1:1:10.1.101.11/32 with matching nexthop 172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2, <-- This is the VRI picked up from the EVPN Type-2 
*Jan 29 18:21:41.009: BGP: MVPN(15) create local route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Jan 29 18:21:41.009: BGP[15] MVPN: add c-route, type 7, bs len 0 asn=65001, rd=1:1,
*Jan 29 18:21:41.009: source=10.1.101.11/4,
*Jan 29 18:21:41.009: group=226.1.1.1/4,
*Jan 29 18:21:41.009: nexthop=172.16.254.3,
*Jan 29 18:21:41.009: len left = 0
*Jan 29 18:21:41.009: BGP[14] MVPN umh lookup: vrfid 2, source 10.1.101.11
*Jan 29 18:21:41.009: BGP[4] MVPN umh lookup: vrfid 2, source 10.1.101.11, net 1:1:10.1.101.11/32, 1:1:10.1.101.11/32 with matching nexthop 172.16.254.3, remote-rd [172.16.]: 0x9:65001:0.0.0.0, 0x10B:172.16.255.3:2,


### Type-7 Locally created on RP and sent to Source Leaf-01 ###
Leaf-02#sh bgp ipv4 mvpn all
BGP table version is 81, local router ID is 172.16.255.4
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
x best-external, a additional-path, c RIB-compressed,
t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network         Next Hop            Metric LocPrf Weight Path
Route Distinguisher: 172.16.254.3:101 <-- Note the VRI is learnt from Leaf-01
 *> [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22 <-- [7] = type-7 for this S,G / VRI 172.16.254.3:101 learned from Leaf-01
                    0.0.0.0                            32768 ?    <-- 0.0.0.0 locally originated with local Weight

ステップ6(Leaf-01):送信元Leaf-01がMVPN Route-Type 7を受信してインストールします（L3 VNI SVIはS、Gの転送インターフェイスとしてインストールされます）。

### Received Type-7 from Leaf-02 RP ###

Leaf-01#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast
Leaf-01#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 18:18:58.457: BGP(15): 172.16.255.1 rcvd UPDATE w/ attr: nexthop 172.16.255.4, origin ?, localpref 100, metric 0, originator 172.16.255.4, clusterlist 172.16.255.1, extended community RT:172.16.255.3:2 <-- Type-7 from Route Reflector 172.16.255.1 
*Jan 29 18:18:58.457: BGP(15): 172.16.255.1 rcvd [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22                        <-- Received [7] Type-7 BGP join route 
*Jan 29 18:18:58.457: BGP(15): skip vrf default table RIB route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Jan 29 18:18:58.458: BGP(15): add RIB route (0:0)[7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22



### PIM updated by MVPN to install L3 VNI in Outgoing Interface List ###

Leaf-01#debug ip pim vrf green 226.1.1.1
PIM debugging is on
Leaf-01#debug ip mrouting vrf green 226.1.1.1
IP multicast routing debugging is on

*Jan 29 18:18:58.458: PIM(2): Join-list: (10.1.101.11/32, 226.1.1.1), S-bit set, BGP C-Route
*Jan 29 18:18:58.459: MRT(2): WAVL Insert VxLAN interface: Vlan901 in (10.1.101.11,226.1.1.1) Next-hop: 239.1.1.1 VNI 50901 Successful <-- VxLAN info such as VNI, and outer Mcast group during Olist creation 
*Jan 29 18:18:58.459: MRT(2): set min mtu for (10.1.101.11, 226.1.1.1) 18010->9198
*Jan 29 18:18:58.460: MRT(2): Add Vlan901/239.1.1.1/50901 to the olist of (10.1.101.11, 226.1.1.1), Forward state - MAC not built      <-- OIF is added for the VNI SVI 901 
*Jan 29 18:18:58.460: PIM(2): Add Vlan901/0.0.0.0 to (10.1.101.11, 226.1.1.1), Forward state, by BGP SG Join
*Jan 29 18:18:58.460: MRT(2): Add Vlan901/239.1.1.1/50901to the olist of (10.1.101.11, 226.1.1.1), Forward state - MAC not built

ステップ7(Leaf-01):Leaf-01がMVPN送信元A-Dタイプ5をS、Gにアドバタイズします 

Leaf-01#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast
Leaf-01#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 18:18:58.461: BGP(15): nettable_walker [5][1:1][10.1.101.11][226.1.1.1]/18 route sourced locally <-- BGP determines route is local to Leaf-01
*Jan 29 18:18:58.461: BGP(15): delete RIB route (0:0)[5][1:1][10.1.101.11][226.1.1.1]/18
*Jan 29 18:18:58.461: BGP(15): 172.16.255.1 NEXT_HOP self is set for sourced RT Filter for net [5][1:1][10.1.101.11][226.1.1.1]/18
*Jan 29 18:18:58.461: BGP(15): (base) 172.16.255.1 send UPDATE (format) [5][1:1][10.1.101.11][226.1.1.1]/18, next 172.16.255.3, metric 0, path Local, extended community RT:1:1 <-- Send Type-5 update 

ステップ8(Leaf-03):レシーバVTEPがType-5を取得し、S,Gの送信元A-Dルートをインストールする

Leaf-03#debug bgp ipv4 mvpn updates
BGP updates debugging is on for address family: MVPNv4 Unicast
Leaf-03#debug bgp ipv4 mvpn updates events
BGP update events debugging is on for address family: MVPNv4 Unicast

*Jan 29 19:18:53.318: BGP(15): 172.16.255.1 rcvd UPDATE w/ attr: nexthop 172.16.255.3, origin ?, localpref 100, metric 0, originator 172.16.255.3, clusterlist 172.16.255.1, community no-export, extended community RT:1:1
*Jan 29 19:18:53.319: BGP(15): 172.16.255.1 rcvd [5][1:1][10.1.101.11][226.1.1.1]/18   <-- Type-5 Received from Source VTEP Leaf-01 
*Jan 29 19:18:53.319: BGP(15): skip vrf default table RIB route [5][1:1][10.1.101.11][226.1.1.1]/18


Leaf-03#sh bgp ipv4 mvpn all route-type 5 10.1.101.11 226.1.1.1
...or you can also use:
Leaf-03#sh bgp ipv4 mvpn detail [5][1:1][10.1.101.11][226.1.1.1]/18
BGP routing table entry for [5][1:1][10.1.101.11][226.1.1.1]/18, version 41   <-- Type-5 A-D route from Leaf-01
Paths: (2 available, best #2, table MVPNv4-BGP-Table, not advertised to EBGP peer)
Flag: 0x100
Not advertised to any peer
Refresh Epoch 1
Local
  172.16.255.3 (metric 3) from 172.16.255.1 (172.16.255.1)    <-- Leaf-01 IP 
    Origin incomplete, metric 0, localpref 100, valid, internal, best
    Community: no-export
     Extended Community: RT:1:1
     Originator: 172.16.255.3, Cluster list: 172.16.255.1
     rx pathid: 0, tx pathid: 0x0
     Updated on Jan 29 2021 19:18:53 UTC

ステップ9(Leaf-03):S,Gが作成され、Leaf-03がSPTツリーに参加するためにMVPNタイプ7を送信し、トラフィックの受け入れを開始します

debug ip mrouting vrf green 226.1.1.1
debug bgp ipv4 mvpn updates
debug bgp ipv4 mvpn updates events

### Debug of Mrouting shows S,G create and call to BGP to create Type-7 BGP S,G join ###
*Feb 12 19:34:26.045: MRT(2): (10.1.101.11,226.1.1.1), RPF install from /0.0.0.0 to Vlan901/172.16.254.3 <-- RPF check done as first operation. Selected L3VNI SVI and Leaf-01 next hop 
*Feb 12 19:34:26.046: MRT(2): Create (10.1.101.11,226.1.1.1), RPF (Vlan901, 172.16.254.3, 200/0)  <-- RPF successful Creating S,G 
*Feb 12 19:34:26.047: MRT(2): WAVL Insert interface: Vlan102 in (10.1.101.11,226.1.1.1) Successful
*Feb 12 19:34:26.047: MRT(2): set min mtu for (10.1.101.11, 226.1.1.1) 18010->9198
*Feb 12 19:34:26.047: MRT(2): Set the T-flag for (10.1.101.11, 226.1.1.1)
*Feb 12 19:34:26.048: MRT(2): Add Vlan102/226.1.1.1 to the olist of (10.1.101.11, 226.1.1.1), Forward state - MAC not built <-- Adding Vlan102 Receiver SVI into OIF list 
*Feb 12 19:34:26.048: MRT(2): Set BGP Src-Active for (10.1.101.11, 226.1.1.1) <-- Signaling to BGP that this Source is seen and join SPT path 

### BGP Type-7 created ###
Leaf-03#sh bgp ipv4 mvpn all
Route Distinguisher: 172.16.254.3:101                                <-- VRI Route Distinguisher 
 *>    [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22 <-- Type [7], VRI, S,G info 
                       0.0.0.0                            32768 ?    <-- created locally


Leaf-03#sh ip mroute vrf green 226.1.1.1 10.1.101.11
IP Multicast Routing Table
Flags: D - Dense, S - Sparse, B - Bidir Group, s - SSM Group, C - Connected,
       L - Local, P - Pruned, R - RP-bit set, F - Register flag,
       T - SPT-bit set, J - Join SPT, M - MSDP created entry, E - Extranet,
       X - Proxy Join Timer Running, A - Candidate for MSDP Advertisement,
       U - URD, I - Received Source Specific Host Report,
       Z - Multicast Tunnel, z - MDT-data group sender,
       Y - Joined MDT-data group, y - Sending to MDT-data group,
       G - Received BGP C-Mroute, g - Sent BGP C-Mroute,
       N - Received BGP Shared-Tree Prune, n - BGP C-Mroute suppressed,
       Q - Received BGP S-A Route, q - Sent BGP S-A Route,
       V - RD & Vector, v - Vector, p - PIM Joins on route,
       x - VxLAN group, c - PFP-SA cache created entry,
       * - determined by Assert, # - iif-starg configured on rpf intf,
       e - encap-helper tunnel flag
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(10.1.101.11, 226.1.1.1), 00:08:41/00:02:13, flags: TgQ <-- SPT bit, Sent MVPN type-7, Received MVPN type-5 
  Incoming interface: Vlan901, RPF nbr 172.16.254.3     <-- Receive from L3VNI via Leaf-01 IP next hop 
  Outgoing interface list:
    Vlan102, Forward/Sparse, 00:08:41/00:02:22          <-- Send to host in Vlan 102 

ステップ10(Leaf-01):Leaf-01がLeaf-03からMVPNタイプ7を受信してインストールします 

debug bgp ipv4 mvpn updates
debug bgp ipv4 mvpn updates events 

### Type-7 Received from Leaf-03 VTEP and installed into RIB ###
*Feb 12 19:55:29.000: BGP(15): 172.16.255.1 rcvd [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22   <-- Type-7 from Leaf-03 
*Feb 12 19:55:29.000: BGP(15): skip vrf default table RIB route [7][172.16.254.3:101][65001][10.1.101.11/32][226.1.1.1/32]/22
*Feb 12 19:55:29.000: BGP(15): add RIB route (0:0)[7][1:1][65001][10.1.101.11/32][226.1.1.1/32]/22

シナリオ4：ファブリック外のRP（境界リーフ–02からIP空間からインポートされたRP）

このシナリオは、基本的にシナリオ3と同じです。ファブリック全体で使用されるRPは1つです。違いは、RP IPを非ファブリックIP空間からファブリックにインポートし、BGPにアドバタイズする必要があることです。 

このセクションでは、シナリオ3との違いを示します。同じ手順と方法については、シナリオ3でのみ説明します

• BGPとPIMの動作は同じであるため、シナリオ3の「このシナリオに必要なイベントのシーケンスの確認」を参照してください 

ネットワーク図

境界スイッチがIPからファブリックにインポートされることを確認する

この設計とシナリオ3の主な違いは、まずIP空間からEVPNにRP IPをインポートする必要があることです。

ボーダーには、ファブリックおよびIPスペースとの間でインポート/エクスポートを行うための特定のコマンドを含める必要があります。

• VRF設定セクションのroute-target <value> stitchingコマンド
• bgp vrf address-familyの下でl2vpn evpnをアドバタイズします 

確認(Leaf-02):設定

Leaf-02#sh run vrf green
Building configuration...

Current configuration : 1533 bytes
vrf definition green
rd 1:1
!
address-family ipv4
mdt auto-discovery vxlan
mdt default vxlan 239.1.1.1
mdt overlay use-bgp
route-target export 1:1            
route-target import 1:1             
route-target export 1:1 stitching    <-- BGP-EVPN fabric redistributes the stitching routes between the EVPN and the IP BGP
route-target import 1:1 stitching
exit-address-family

Leaf-02#sh run | sec router bgp
address-family ipv4 vrf green       <--- BGP VRF green address-family 
advertise l2vpn evpn                <--- Use the 'advertise l2vpn evpn' command and 'export stitching' RTs to push the native routes towards the EVPN
redistribute connected
redistribute static
redistribute ospf 2 match internal external 1 external 2   <-- Learning via external OSPF neighbor in VRF 
exit-address-family

検証(Leaf-02):プレフィックスインポートおよびアドバタイズメント 

debug bgp vpnv4 unicast updates
debug bgp vpnv4 unicast updates events
debug bgp l2vpn evpn updates
debug bgp l2vpn evpn updates events

*Feb 15 15:30:54.407: BGP(4): redist event (1) request for 1:1:10.2.255.255/32                             <-- VPNv4 Redistribute statement present in BGP address family 
*Feb 15 15:30:54.407: BGP(4) route 1:1:10.2.255.255/32 gw-1 10.2.1.2 src_proto (ospf) path-limit 1
*Feb 15 15:30:54.407: BGP(4): route 1:1:10.2.255.255/32 up
*Feb 15 15:30:54.407: bgp_ipv4set_origin: redist 1, opaque 0x0, net 10.2.255.255
*Feb 15 15:30:54.407: BGP(4): sourced route for 1:1:10.2.255.255/32 path 0x7FF8065EB9C0 id 0 gw 10.2.1.2 created (weight 32768)
*Feb 15 15:30:54.408: BGP(4): redistributed route 1:1:10.2.255.255/32 added gw 10.2.1.2
*Feb 15 15:30:54.408: BGP: topo green:VPNv4 Unicast:base Remove_fwdroute for 1:1:10.2.255.255/32
*Feb 15 15:30:54.408: BGP(4): 1:1:10.2.255.255/32 import vpn re-orig or locally sourced or learnt from CE  <-- Prefix learned from external CE 
*Feb 15 15:30:54.409: BGP(10): update modified for [5][1:1][0][32][10.2.255.255]/17                        <--- EVPN picked up and Type-5 creation  
*Feb 15 15:30:54.409: BGP(10): 172.16.255.1 NEXT_HOP set to vxlan local vtep-ip 172.16.254.4 for net [5][1:1][0][32][10.2.255.255]/17   <-- Set NH to Leaf-02 loopback 
*Feb 15 15:30:54.409: BGP(10): update modified for [5][1:1][0][32][10.2.255.255]/17
*Feb 15 15:30:54.409: BGP(10): (base) 172.16.255.1 send UPDATE (format) [5][1:1][0][32][10.2.255.255]/17, next 172.16.254.4, metric 2, path Local, extended community RT:1:1 OSPF DOMAIN ID:0x0005:0x000000020200 MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.4:2 ENCAP:8 Router MAC:7C21.0DBD.9548 OSPF RT:0.0.0.0:2:0 OSPF ROUTER ID:10.2.255.255:0
<-- BGP EVPN Type update created from Non-fabric Imported prefix and sent to RR 


### Verify the NLRI is learned and Imported on Border Leaf-02 ###
Leaf-02#sh bgp vpnv4 unicast all
BGP table version is 39, local router ID is 172.16.255.4
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
              t secondary path, L long-lived-stale,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

 Network Next Hop Metric LocPrf Weight Path
Route Distinguisher: 1:1 (default for vrf green)
AF-Private Import to Address-Family: L2VPN E-VPN, Pfx Count/Limit: 3/1000  <-- Prefix Import details. (Note default import limit of 1000) 
 *>   10.2.255.255/32  10.2.1.2                 2         32768 ?          <-- Locally redistributed, Next hop on CE device

Leaf-02#sh bgp l2vpn evpn all route-type 5 0 10.2.255.255 32
...or you can also use:
Leaf-02#sh bgp l2vpn evpn detail [5][1:1][0][32][10.2.255.255]/17
BGP routing table entry for [5][1:1][0][32][10.2.255.255]/17, version 69
Paths: (1 available, best #1, table EVPN-BGP-Table)
  Advertised to update-groups:
     2
  Refresh Epoch 1
  Local, imported path from base
    10.2.1.2 (via vrf green) from 0.0.0.0 (172.16.255.4)                <-- Imported to EVPN Fabric table from IP
      Origin incomplete, metric 2, localpref 100, weight 32768, valid, external, best
      EVPN ESI: 00000000000000000000, Gateway Address: 0.0.0.0, local vtep: 172.16.254.4, VNI Label 50901, MPLS VPN Label 17  <-- VTEP IP of Leaf-02, L3VNI label
      Extended Community: RT:1:1 OSPF DOMAIN ID:0x0005:0x000000020200
        MVPN AS:65001:0.0.0.0 MVPN VRF:172.16.255.4:2 ENCAP:8           <-- MVPN VRI created 
        Router MAC:7C21.0DBD.9548 OSPF RT:0.0.0.0:2:0
        OSPF ROUTER ID:10.2.255.255:0
      rx pathid: 0, tx pathid: 0x0
      Updated on Feb 15 2021 15:30:54 UTC

検証(Leaf-02):RPへの境界パス 

Leaf-02#sh ip mroute vrf green
IP Multicast Routing Table
Flags: D - Dense, S - Sparse, B - Bidir Group, s - SSM Group, C - Connected,
       L - Local, P - Pruned, R - RP-bit set, F - Register flag,
       T - SPT-bit set, J - Join SPT, M - MSDP created entry, E - Extranet,
       X - Proxy Join Timer Running, A - Candidate for MSDP Advertisement,
       U - URD, I - Received Source Specific Host Report,
       Z - Multicast Tunnel, z - MDT-data group sender,
       Y - Joined MDT-data group, y - Sending to MDT-data group,
       G - Received BGP C-Mroute, g - Sent BGP C-Mroute,
       N - Received BGP Shared-Tree Prune, n - BGP C-Mroute suppressed,
       Q - Received BGP S-A Route, q - Sent BGP S-A Route,
       V - RD & Vector, v - Vector, p - PIM Joins on route,
       x - VxLAN group, c - PFP-SA cache created entry,
       * - determined by Assert, # - iif-starg configured on rpf intf,
       e - encap-helper tunnel flag
Outgoing interface flags: H - Hardware switched, A - Assert winner, p - PIM Join
 Timers: Uptime/Expires
 Interface state: Interface, Next-Hop or VCD, State/Mode

(*, 226.1.1.1), 2d21h/stopped, RP 10.2.255.255, flags: SJGx <-- *,G for group and Non-fabric RP IP
  Incoming interface: Vlan2001, RPF nbr 10.2.1.2            <-- RPF neighbor is populated for IP next hop outside VxLAN
  Outgoing interface list:
    Vlan901, Forward/Sparse, 01:28:47/stopped               <-- Outgoing is L3VNI SVI

シナリオ5：データMDT

MDTデータグループの確認

MDTデータグループは、TRMの外部トンネルグループがカプセル化されるMDTデフォルトグループに似ています。ただし、MDTのデフォルトとは異なり、このグループは、VTEPがこのツリーに参加できるのは、TRMグループに関連するレシーバがある場合だけです。

必要な設定

vrf definition green
rd 1:1
!
address-family ipv4
mdt auto-discovery vxlan
mdt default vxlan 239.1.1.1
mdt data vxlan 239.1.2.0 0.0.0.255  <-- Defines MDT Data underlay group address range 
mdt data threshold 1                <-- Defines the threshold before cutting over to the Data group (In Kilobits per second)
mdt overlay use-bgp spt-only
route-target export 1:1
route-target import 1:1
route-target export 1:1 stitching
route-target import 1:1 stitching
exit-address-family
!

ソース側でMDTグループが正しくプログラムされていることを確認します

• MDTグループの着信インターフェイスは発信側ループバックです
• MDTグループの発信インターフェイスはアンダーレイインターフェイスです

Leaf-01:MDT mrouteがMRIB/MFIBで正しいことを確認します

Leaf-01#sh ip mroute 239.1.2.0 172.16.254.3
<snip>
(172.16.254.3, 239.1.2.0), 00:01:19/00:02:10, flags: FT
  Incoming interface: Loopback1, RPF nbr 0.0.0.0               <-- IIF is local loopback with 0.0.0.0 RPF indicating local
  Outgoing interface list:
    TenGigabitEthernet1/0/1, Forward/Sparse, 00:01:19/00:03:10 <-- OIF is the underlay uplink

Leaf-01#sh ip mfib 239.1.2.0 172.16.254.3
<snip>
(172.16.254.3,239.1.2.0) Flags: HW
  SW Forwarding: 2/0/828/0, Other: 0/0/0
  HW Forwarding: 450/2/834/13, Other: 0/0/0  <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
  Null0 Flags: A                             <-- Null0 (Originated locally)
  TenGigabitEthernet1/0/1 Flags: F NS        <-- OIF is into the Underlay (Global routing table)
    Pkts: 0/0/0 Rate: 0 pps

MDTグループのLeaf-01:FEDエントリを確認します 

Leaf-01#show platform software fed switch active ip mfib 239.1.2.0/32 172.16.254.3 detail <-- The detail option gives summary of the HW indexes
MROUTE ENTRY vrf 0 (172.16.254.3, 239.1.2.0/32)  <-- vrf 0 = global for this MDT Data S,G pair
  HW Handle: 140028029798744 Flags:
RPF interface: Null0(1)):                        <-- Leaf-01 is the Source(Null0)
  HW Handle:140028029798744 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 570                            <-- Packets that used this adjacency (similar to the mfib command, but shown at the FED layer)
OIF Details: 
     TenGigabitEthernet1/0/1 F NS                <-- The Underlay Outgoing Interface and F-Forward flag is set
     Null0 A                                     <-- The Incoming Interface is local loopback1 and A-Accept flag set
Htm: 0x7f5ad0fa48b8 Si: 0x7f5ad0fa4258 Di: 0x7f5ad0fa8948 Rep_ri: 0x7f5ad0fa8e28  <--The DI (dest index) handle


DI details
----------
Handle:0x7f5ad0fa8948 Res-Type:ASIC_RSC_DI Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x536e mtu_index/l3u_ri_index0:0x0 index1:0x536e mtu_index/l3u_ri_index1:0x0 index2:0x536e mtu_index/l3u_ri_index2:0x0 index3:0x536e mtu_index/l3u_ri_index3:0x0

<snip>

Brief Resource Information (ASIC_INSTANCE# 3)
----------------------------------------
Destination index = 0x536e
pmap = 0x00000000 0x00000001
pmap_intf : [TenGigabitEthernet1/0/1]  <--FED has the correct programing of the OIF
==============================================================

受信側でMDTグループが正しくプログラムされていることを確認します

• MDTグループの着信インターフェイスは、発信側ループバックに戻るRPFインターフェイスです 
• MDTグループの発信インターフェイスはEncap/Decap Tunnelインターフェイスです 

Leaf-02:MDT mrouteがMRIB/MFIBで正しいことを確認します

Leaf-03#sh ip mroute 239.1.2.0 172.16.254.3               <-- This is the Global MDT Data Group 
<snip>
(172.16.254.3, 239.1.2.0), 00:06:12/00:02:50, flags: JTx  <-- Source is Leaf-01 Loopback1 IP
  Incoming interface: TenGigabitEthernet1/0/1, RPF nbr 172.16.26.2
  Outgoing interface list:
    Tunnel0, Forward/Sparse, 00:06:12/00:02:47            <-- Decap Tunnel

Leaf-03#sh ip mfib 239.1.2.0 172.16.254.3
<snip>
Default                                                   <-- Global Routing Table
  (172.16.254.3,239.1.2.0) Flags: HW
    SW Forwarding: 2/0/828/0, Other: 0/0/0
    HW Forwarding: 760/2/846/13, Other: 0/0/0             <-- Hardware counters indicate the entry is operating in hardware and forwarding packets
    TenGigabitEthernet1/0/1 Flags: A                      <-- Accept via Underlay (Global) interface
    Tunnel0, VXLAN Decap Flags: F NS                      <-- Forward to VxLAN Decap Tunnel
      Pkts: 0/0/2 Rate: 0 pps

MDTグループのLeaf-02: FEDエントリを確認します 

Leaf-03#show platform software fed switch active ip mfib 239.1.2.0/32 172.16.254.3 detail
MROUTE ENTRY vrf 0 (172.16.254.3, 239.1.2.0/32)  <-- vrf 0 = global for this MDT Data S,G pair
  HW Handle: 140592885196696 Flags:
RPF interface: TenGigabitEthernet1/0/1(55)):     <-- RPF Interface to 172.16.254.3
  HW Handle:140592885196696 Flags:A
Number of OIF: 2
Flags: 0x4 Pkts : 800                            <-- packets that used this adjacency (similar to mfib command, but shown at the FED layer)
OIF Details:
     TenGigabitEthernet1/0/1 A                   <-- Accept MDT packets from this interface
     Tunnel0 F NS                                <-- Forward to Decap Tunnel to remove VxLAN header       
          (Adj: 0x3c )                           <-- Tunnel0 Adjacency
Htm: 0x7fde54fb7d68 Si: 0x7fde54fb50d8 Di: 0x7fde54fb4948 Rep_ri: 0x7fde54fb4c58

<snip>

RI details                                       <-- Rewrite Index is used for VxLAN decapsulation
----------
Handle:0x7fde54fb4c58 Res-Type:ASIC_RSC_RI_REP Res-Switch-Num:255 Asic-Num:255 Feature-ID:AL_FID_L3_MULTICAST_IPV4 Lkp-ftr-id:LKP_FEAT_INVALID ref_count:1
priv_ri/priv_si Handle:(nil) Hardware Indices/Handles: index0:0x1a mtu_index/l3u_ri_index0:0x0 index1:0x1a mtu_index/l3u_ri_index1:0x0 index2:0x1a mtu_index/l3u_ri_index2:0x0 index3:0x1a mtu_index/l3u_ri_index3:0x0


Brief Resource Information (ASIC_INSTANCE# 0)
----------------------------------------
ASIC# 0
Replication list :
------------------

Total #ri : 6
Start_ri : 26
Common_ret : 0

Replication entry rep_ri 0x1A #elem = 1
0) ri[0]=0xE803 Dynamic port=88ri_ref_count:1 dirty=0
<snip>

Leaf-03#show platfomr software fed switch active fwd-asic resource asic all rewrite-index range 0xE803 0XE803
ASIC#:0 RI:59395 Rewrite_type:AL_RRM_REWRITE_L2_PAYLOAD_IPV4_EVPN_DECAP(118) Mapped_rii:LVX_EVPN_DECAP(143)
<snip>

デバッグMDTデータグループ

MVPNデバッグを使用したデータMDTカットオーバーイベントの確認

送信元側のVTEP

Leaf#debug mvpn
<snip>
*Mar 27 12:12:11.115: MVPN: Received local withdraw for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:12:11.115: MVPN: Sending BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nh 0.0.0.0, Withdraw route
*Mar 27 12:12:11.115: MVPN: Route Type 5 deleted [(10.1.101.11, 239.1.1.1), nh 0.0.0.0] rd:1:1 send:1
*Mar 27 12:12:11.115: MVPN: Received BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nexthop: UNKNOWN, router-id: 0.0.0.0, Withdraw route
*Mar 27 12:12:11.115: MVPN: Received BGP withdraw for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:13:00.430: MVPN: Received local route update for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:13:00.431: MVPN: Route Type 5 added [(10.1.101.11, 239.1.1.1), nh 0.0.0.0] rd:1:1 send:1
*Mar 27 12:13:00.431: MVPN: RP 10.2.255.255 updated in newly created route
*Mar 27 12:13:00.431: MVPN: Sending BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nh 0.0.0.0, Originate route
*Mar 27 12:13:00.431: MVPN: Received BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nexthop: UNKNOWN, router-id: 0.0.0.0, Withdraw route
*Mar 27 12:13:00.431: MVPN: Received BGP withdraw for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:13:17.151: MVPN(green[AF_IPv4]): Successfully notified nve fordatamdt adjacency create 239.1.2.0                                                        <-- Notify NVE about creating DATA MDT
*Mar 27 12:13:17.151: MVPN: Received local update <104:0x00:0>(172.16.254.3, 239.1.2.0) next_hop:0.0.0.0 router_id:172.16.255.3 RD:[1:1] Rmt-RD:[1:1] route type:3 <-- Received local update for the data group
*Mar 27 12:13:17.151: MVPN: LSM AD route added [(10.1.101.11,239.1.1.1) : <104:0x00:0>(172.16.254.3, 239.1.2.0)] orig:172.16.255.3 RD:[1:1] Rmt-RD:[1:1] rt:3 snd:1 
*Mar 27 12:13:17.151: MVPN(green[AF_IPv4]): Sending VxLAN BGP AD prefix=[3:172.16.255.3 1:1 : (10.1.101.11,239.1.1.1)] len=23, accept=1, af=0                      <-- Send the MDT Data Adjacency prefix in VxLAN BGP to remote VTEPS
*Mar 27 12:13:17.151: MVPN(green[AF_IPv4]): Originate VxLAN BGP AD rt:3                                                                                          
*Mar 27 12:13:17.151: MVPN(green[AF_IPv4]): VXLAN MDT-Data, node added for (10.1.101.11,239.1.1.1) MDT: 239.1.2.0                                                  <-- Add a node for the data group
Leaf-01#

受信側側のVTEP

Leaf#debug mvpn
<snip>
*Mar 27 12:27:54.920: MVPN: Received BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nexthop: 172.16.255.3, router-id: 172.16.255.1, Accept route
*Mar 27 12:27:54.920: MVPN: Received BGP route update for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:27:54.920: MVPN: Route Type 5 found [(10.1.101.11, 239.1.1.1), nh 172.16.255.3]rd:1:1 send:0
*Mar 27 12:27:54.920: MVPN: Received BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nexthop: UNKNOWN, router-id: 0.0.0.0, Withdraw route
*Mar 27 12:27:54.920: MVPN: Received BGP withdraw for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:27:54.920: MVPN: Route Type 5 deleted [(10.1.101.11, 239.1.1.1), nh 172.16.255.3] rd:1:1 send:0
*Mar 27 12:28:27.648: MVPN: Received BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nexthop: UNKNOWN, router-id: 0.0.0.0, Withdraw route
*Mar 27 12:28:27.657: MVPN: Received BGP withdraw for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:28:44.235: MVPN: Received BGP prefix=[5: 1:1 : (10.1.101.11,239.1.1.1)] len=19, nexthop: 172.16.255.3, router-id: 172.16.255.1, Accept route
*Mar 27 12:28:44.235: MVPN: Received BGP route update for (10.1.101.11, 239.1.1.1) with RD: 1:1, Route Type: 5, flags: 0x00
*Mar 27 12:28:44.235: MVPN: Route Type 5 added [(10.1.101.11, 239.1.1.1), nh 172.16.255.3] rd:1:1 send:0
*Mar 27 12:29:00.956: MVPN: Received BGP prefix=[3:172.16.255.3 1:1 : (10.1.101.11,239.1.1.1)] len=23, nexthop: 172.16.255.3, router-id: 172.16.255.2, remote-rd: 1:1, Accept route
*Mar 27 12:29:00.956: MVPN: Received BGP prefix=[3:172.16.255.3 1:1 : (10.1.101.11,239.1.1.1)] len=23, nexthop: 172.16.255.3, router-id: 172.16.255.1, remote-rd: 1:1, Accept route
*Mar 27 12:29:00.956: MVPN: Received BGP update <104:0x00:50901>(172.16.254.3, 239.1.2.0) next_hop:172.16.255.3 router_id:172.16.255.2 RD:[1:1] Rmt-RD:[1:1] route type:3    <-- Received BGP update from source side VTEP 
*Mar 27 12:29:00.956: MVPN: LSM AD route added [(10.1.101.11,239.1.1.1) : <104:0x00:50901>(172.16.254.3, 239.1.2.0)] orig:172.16.255.3 RD:[1:1] Rmt-RD:[1:1] rt:3 snd:0      <-- Adding the Data group 
*Mar 27 12:29:00.957: MVPN(green[AF_IPv4]): Activating PE (172.16.255.3, 1:1) ad route refcnt:1 control plane refcnt: 0
*Mar 27 12:29:00.958: MVPN(green[AF_IPv4]): Successfully notified datamdt group for NVE (239.1.2.0, TRUE, FALSE)                                                             <-- Notify NVE of the DATA MDT
*Mar 27 12:29:00.958: MVPN: Received BGP update <104:0x00:50901>(172.16.254.3, 239.1.2.0) next_hop:172.16.255.3 router_id:172.16.255.1 RD:[1:1] Rmt-RD:[1:1] route type:3
Leaf-03#

トラブルシュート

Border-Leaf(config-vrf-af)#mdt auto-discovery vxlan inter-as

Leaf-01#sh ip pim vrf green tunnel
Tunnel5*
Type : PIM Encap
RP : 10.2.255.255
Source : 10.1.101.1 <-- Source of Register Tunnel 
State : UP 
Last event : Created (00:33:28)

Leaf-03#sh ip pim vrf green tunnel
Tunnel4
Type : PIM Encap 
RP : 10.2.255.255
Source : 10.1.101.1 <-- Source of Register Tunnel 
State : UP
Last event : Created (00:11:53)

Leaf-01#show ip mroute vrf green 226.1.1.1 10.1.101.11
(10.1.101.11, 226.1.1.1), 02:02:19/00:02:22, flags: PFT
Incoming interface: Vlan101, RPF nbr 10.1.101.11, Registering <-- Leaf-01 is stuck in register state 
Outgoing interface list: Null

Leaf-02#sh ip route vrf green 10.1.101.1
Routing Table: green
Routing entry for 10.1.101.1/32
Known via "connected", distance 0, metric 0 (connected)
Routing Descriptor Blocks:
* directly connected, via Vlan101 <-- Leaf-02 sees IP as Connected, and sends the Register-stop to itself as this is the best route
Route metric is 0, traffic share count is 1

Leaf-02#debug ip pim vrf green 226.1.1.1
PIM debugging is on
*May 26 17:33:15.797: PIM(2)[green]: Received v2 Register on Vlan901 from 10.1.101.1 <-- Received from Leaf-01 with Source of 10.1.101.1
*May 26 17:33:15.797: PIM(2)[green]: Send v2 Register-Stop to 10.1.101.1 for 10.1.101.11, group 226.1.1.1 <-- Sending Register-stop to FHR
*May 26 17:33:15.797: PIM(2)[green]: Received v2 Register-Stop on Vlan101 from 10.2.255.255 <-- Leaf-02 receives its own Register-stop as the IP is local 
*May 26 17:33:15.797: PIM(2)[green]: for source 10.1.101.11, group 226.1.1.1 <-- S,G the Stop is for
*May 26 17:33:15.797: PIM(2)[green]: Clear Registering flag to 10.2.255.255 for (10.1.101.11/32, 226.1.1.1) <-- Done with Register event 
*May 26 17:33:17.801: PIM(2)[green]: Received v2 Register on Vlan901 from 10.1.101.1 <-- Another Register messages from Leaf-01 and the event repeats
*May 26 17:33:17.801: PIM(2)[green]: Send v2 Register-Stop to 10.1.101.1 for 10.1.101.11, group 226.1.1.1
*May 26 17:33:17.802: PIM(2)[green]: Received v2 Register-Stop on Vlan101 from 10.2.255.255
*May 26 17:33:17.802: PIM(2)[green]: for source 10.1.101.11, group 226.1.1.1
*May 26 17:33:17.802: PIM(2)[green]: Clear Registering flag to 10.2.255.255 for (10.1.101.11/32, 226.1.1.1)

Leaf-01#sh run int lo 901
interface Loopback901
vrf forwarding green <-- Loopback is in the Tenant VRF 
ip address 10.1.255.1 255.255.255.255 <-- IP is unique to the VTEP
ip pim sparse-mode

Leaf-02(config)#ip pim vrf green register-source loopback 901 <-- force the Register Source to use the Loopback 

Leaf-01#sh ip pim vrf green tunnel
Tunnel5
Type : PIM Encap     <-- Register Encapsulation tunnel 
RP : 10.2.255.255    <-- RP IP is the Tunnel destination 
Source : 10.1.255.1  <-- Loopback 901 is the Tunnel source 
State : UP
Last event : Created (02:45:58)

Leaf-02#show bgp l2vpn evpn all | beg 10.1.255.1
*>i [5][1:1][0][32][10.1.255.1]/17
          172.16.254.3       0          100    0 ?  <-- Only one entry and next hop to Leaf-01

関連情報

EVPN VxLAN TRMコンフィギュレーションガイド

EVPN VxLANユニキャストのトラブルシューティング

MVPNコンフィギュレーションガイド17.3.x（Catalyst 9300スイッチ）

MVPNコンフィギュレーションガイド17.3.x（Catalyst 9500スイッチ）

BGP 設定ガイド