Proxmoxを入れているPCの物理構成を変えたらProxmoxに接続できなくなった話

えのきこ

2024年12月31日 21:47

はじめに

MinisforumのMS-01にProxmox入れて運用していましたが、グラフィックボードを追加したら接続できなくなった際の解決策を記載します。

何をしたか

空いているPCI-explessのスロットにグラフィックボードを挿して物理構成を変更をしました。

何が起こったか

PCIのアドレスが変わった

物理構成変更前

# lspci | grep Ethernet
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
02:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
57:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
5a:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 04)

物理構成変更後

# lspci | grep Ethernet
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
03:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 02)
58:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
5b:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 04)

ログを見ると、NICのIDの最初の2バイト(02や57など)が+1されて(03や58などになって)いることが分かります。

IFの名前も変わった

物理構成変更前

# cat /etc/network/interfaces
(略)
2: enp87s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP group default qlen 1000
    link/ether 58:47:ca:79:67:6a brd ff:ff:ff:ff:ff:ff
3: enp90s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:6b brd ff:ff:ff:ff:ff:ff
4: enp2s0f0np0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr2 state UP group default qlen 1000
    link/ether 58:47:ca:79:67:68 brd ff:ff:ff:ff:ff:ff
5: enp2s0f1np1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr3 state UP group default qlen 1000
    link/ether 58:47:ca:79:67:69 brd ff:ff:ff:ff:ff:ff

物理構成変更後

# cat /etc/network/interfaces
(略)
2: enp88s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:6a brd ff:ff:ff:ff:ff:ff
3: enp91s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:6b brd ff:ff:ff:ff:ff:ff
4: enp3s0f0np0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:68 brd ff:ff:ff:ff:ff:ff
5: enp3s0f1np1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:69 brd ff:ff:ff:ff:ff:ff

つまり？

PCIのIDが変わったことでIFの名前が変わってしまったものの、ProxmoxのPVEに入るための仮想ブリッジ(vmbr0)が参照している古い物理NICままであったため、仮想ブリッジと物理NICの紐づきが途切れたので、PVEに接続できなくなったと考えられる。

対応

下記ファイルを直す

# cat /etc/network/interfaces
# network interface settings; autogenerated
# Please do NOT modify this file directly, unless you know what
# you're doing.
#
# If you want to manage parts of the network configuration manually,
# please utilize the 'source' or 'source-directory' directives to do
# so.
# PVE will preserve these directives, but will NOT read its network
# configuration from sourced files, so do not attempt to move any of
# the PVE managed interfaces into external files!

auto lo
iface lo inet loopback

iface enp87s0 inet manual

iface enp90s0 inet manual

iface enp2s0f0np0 inet manual

iface enp2s0f1np1 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.11.253/24
        gateway 192.168.11.1
        bridge-ports enp87s0
        bridge-stp off
        bridge-fd 0

iface wlp91s0 inet manual

auto vmbr1
iface vmbr1 inet manual
        bridge-ports enp90s0
        bridge-stp off
        bridge-fd 0

auto vmbr2
iface vmbr2 inet manual
        bridge-ports enp2s0f0np0
        bridge-stp off
        bridge-fd 0

auto vmbr3
iface vmbr3 inet manual
        bridge-ports enp2s0f1np1
        bridge-stp off
        bridge-fd 0

auto vmbr4
iface vmbr4 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0

source /etc/network/interfaces.d/*

直した個所は下記の通り。
様々省略しているが、今回はvmbrに紐づけたIF名の計4行を修正した

# cat /etc/network/interfaces
iface vmbr0 inet static
        bridge-ports enp88s0　　★IF名修正
iface vmbr1 inet manual
        bridge-ports enp91s0　　★IF名修正
iface vmbr2 inet manual
        bridge-ports enp3s0f0np0　　★IF名修正
iface vmbr3 inet manual
        bridge-ports enp3s0f1np1　　★IF名修正

enp88がリンクアップした

# cat /etc/network/interfaces
(略)
2: enp88s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP group default qlen 1000
    link/ether 58:47:ca:79:67:6a brd ff:ff:ff:ff:ff:ff
3: enp91s0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq master vmbr1 state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:6b brd ff:ff:ff:ff:ff:ff
4: enp3s0f0np0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq master vmbr2 state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:68 brd ff:ff:ff:ff:ff:ff
5: enp3s0f1np1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq master vmbr3 state DOWN group default qlen 1000
    link/ether 58:47:ca:79:67:69 brd ff:ff:ff:ff:ff:ff

proxmoxからGWへpingも通る

# ping 192.168.11.1
PING 192.168.11.1 (192.168.11.1) 56(84) bytes of data.
64 bytes from 192.168.11.1: icmp_seq=1 ttl=64 time=2.67 ms
64 bytes from 192.168.11.1: icmp_seq=2 ttl=64 time=1.30 ms