FreeBSD Bhyve PCI 直通
最后更新于 2023-01-27 发布于 2022-12-18
1.首先
我想在 Bhyve 的 Windows 宾客中使用主机设备，因此尝试设置 PCI 直通。我使用 vm-bhyve 作为管理软件，基于这一前提，我将进行以下说明。关于 vm-bhyve，您可以在搜索时找到相当多的解释，请参考那些解释。
这些硬件是我去年购买的，就是这篇文章中提到的硬件。https://qiita.com/yshdsnd/items/e8ba8d417851ae56f2fc 但是，内存已扩展到 128GB。我正在使用 FreeBSD 13.1-STABLE。
2. 主机端(硬件)设置
PCI passthrough 需要使用 VT-d 功能。由于通常情况下默认是禁用的，所以请进入 UEFI 菜单启用 VT-d。
虽然本次不使用，但同时也启用了 SR-IOV。
3. 主机端（软件）设置
首先查找要使用的设备 ID。 尽管可以使用 pciconf，但 vm-bhyve 的 vm passthru 命令更简单。
# vm passthru
DEVICE BHYVE ID READY DESCRIPTION
hostb0 0/0/0 No 12th Gen Core Processor Host Bridge/DRAM Registers
pcib1 0/1/0 No 12th Gen Core Processor PCI Express x16 Controller
vgapci0 0/2/0 No AlderLake-S GT1
pcib2 0/6/0 No 12th Gen Core Processor PCI Express x4 Controller
none0 0/8/0 No 12th Gen Core Processor Gaussian & Neural Accelerator
xhci0 0/20/0 No Alder Lake-S PCH USB 3.2 Gen 2x2 XHCI Controller
none1 0/20/2 No Alder Lake-S PCH Shared SRAM
ig4iic0 0/21/0 No Alder Lake-S PCH Serial IO I2C Controller
none2 0/22/0 No Alder Lake-S PCH HECI Controller
ahci0 0/23/0 No Alder Lake-S PCH SATA Controller [AHCI Mode]
pcib3 0/28/0 No -
pcib4 0/29/0 No -
isab0 0/31/0 No Z690 Chipset LPC/eSPI Controller
hdac0 0/31/3 No Alder Lake-S HD Audio Controller
ichsmb0 0/31/4 No Alder Lake-S PCH SMBus Controller
none3 0/31/5 No Alder Lake-S PCH SPI Controller
ix0 1/0/0 No Ethernet Controller 10-Gigabit X540-AT2
ix1 1/0/1 No Ethernet Controller 10-Gigabit X540-AT2
nvme0 2/0/0 No E18 PCIe4 NVMe Controller
none0 3/0/0 No Killer E3000 2.5GbE Controller
xhci1 4/0/0 No -
→ 我想在 Windows 上使用最后的这个 NIC（Killer E3000 2.5GbE 控制器）和 xhci1 设备。
然后在/boot/loader.conf 中写下要作为传递设备保留的设备。
/boot/loader.conf：
kern.geom.label.disk_ident.enable="0"
kern.geom.label.gptid.enable="0"
zfs_load="YES"
vmm_load="YES"
pptdevs="3/0/0 4/0/0"
pptdevs 现在会记录刚才在 vm passthru 中显示的 ID。此外，必须在此处明确加载 vmm 模块。否则，xhci 驱动程序将首先识别设备，导致设备无法被预留为透传设备。如果只想使用没有 FreeBSD 驱动程序的 Killer E3000 2.5GbE Controller，则无需明确编写 vmm 模块。它将在启动 bhyve 时自动加载。
编辑 loader.conf 后，重新启动操作系统后再次运行 vm passthru。
# vm passthru
DEVICE BHYVE ID READY DESCRIPTION
hostb0 0/0/0 No 12th Gen Core Processor Host Bridge/DRAM Registers
pcib1 0/1/0 No 12th Gen Core Processor PCI Express x16 Controller
vgapci0 0/2/0 No AlderLake-S GT1
pcib2 0/6/0 No 12th Gen Core Processor PCI Express x4 Controller
none0 0/8/0 No 12th Gen Core Processor Gaussian & Neural Accelerator
xhci0 0/20/0 No Alder Lake-S PCH USB 3.2 Gen 2x2 XHCI Controller
none1 0/20/2 No Alder Lake-S PCH Shared SRAM
ig4iic0 0/21/0 No Alder Lake-S PCH Serial IO I2C Controller
none2 0/22/0 No Alder Lake-S PCH HECI Controller
ahci0 0/23/0 No Alder Lake-S PCH SATA Controller [AHCI Mode]
pcib3 0/28/0 No -
pcib4 0/29/0 No -
isab0 0/31/0 No Z690 Chipset LPC/eSPI Controller
hdac0 0/31/3 No Alder Lake-S HD Audio Controller
ichsmb0 0/31/4 No Alder Lake-S PCH SMBus Controller
none3 0/31/5 No Alder Lake-S PCH SPI Controller
ix0 1/0/0 No Ethernet Controller 10-Gigabit X540-AT2
ix1 1/0/1 No Ethernet Controller 10-Gigabit X540-AT2
nvme0 2/0/0 No E18 PCIe4 NVMe Controller
ppt0 3/0/0 Yes Killer E3000 2.5GbE Controller
ppt1 4/0/0 Yes -
指定的设备已被注册为 ppt0、ppt1 并作为透传设备。
4. 客人的启动设定
在 vm-bhyve 的设定文件中注册透传设备。因为已经创建了名为 Windows 的客人，所以使用 vm config windows 来编辑设定文件。
loader="uefi"
graphics="yes"
xhci_mouse="yes"
cpu=4
cpu_sockets=1
cpu_cores=4
cpu_threads=1
memory=16G
ahci_device_limit="8"
network0_type="virtio-net"
network0_switch="lan0"
disk0_type="ahci-hd"
disk0_name="disk0"
disk0_dev="sparse-zvol"
graphics_port=5902
graphics_res="1920x1080"
# windows expects the host to expose localtime by default, not UTC
utctime="no"
# JP keyboard
bhyve_options="-K jp"
uuid="xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxx"
network0_mac="58:9c:fc:xx:xx:xx"
passthru0="3/0/0"
passthru1="4/0/0"
以 "passthruX="BUS/SLOT/FUNC"" 的形式进行记录。只需直接记录 vm passthru 显示的内容即可。 虽然与透传无关，但最近的-STABLE 版本增加了通过 VNC 连接时指定键盘映射的选项（-K），因此即使通过日本键盘使用，也不会出现无法正确输入符号的情况。我已将该选项指定为 bhyve_options。
5. 尝试启动客户端
到这一步只需启动即可。
虚拟机启动窗口
在 Windows 设备管理器中确认是否已添加。如有需要，请安装驱动程序。
如果一切正常识别就是这样。ASMedia USB 3.1 eXtensible Host Controller 是透传设备，其下的 Intel xhci 控制器是 Bhyve 的虚拟设备。再往下的 Killer E3100G 也是透传设备。
6. 但是问题是...
在 Windows 端安装驱动并重启后，bhyve 进程异常终止。无论启动多少次都不行。查看日志显示，以 status 4 结束。
在日志中如下所示。
12月 16 19:13:17: bhyve exited with status 0
12月 16 19:13:17: restarting
12月 16 19:13:17: [bhyve options: -c 4,sockets=1,cores=4,threads=1 -m 16G -Hwl bootrom,/usr/local/share/uefi-firmware/BHYVE_UEFI.fd -K jp -U 0e7bf333-96b9-11ea-bb29-e8611f133073 -S]
12月 16 19:13:17: [bhyve devices: -s 0,hostbridge -s 31,lpc -s 4:0,ahci,hd:/dev/zvol/zroot/data/vm/windows/disk0 -s 5:0,virtio-net,tap4,mac=58:9c:fc:06:57:ac -s 6:0,passthru,3/0/0 -s 7:0,passthru,4/0/0 -s 8:0,fbuf,tcp=0.0.0.0:5902,w=1920,h=1080 -s 9:0,xhci,tablet]
12月 16 19:13:17: [bhyve console: -l com1,/dev/nmdm-windows.1A]
12月 16 19:13:17: starting bhyve (run 2)
12月 16 19:13:18: bhyve exited with status 4
12月 16 19:13:18: destroying network device tap4
12月 16 19:13:18: stopped
从配置文件中删除 passthru 后，可以正常启动。此外，重新启动主机然后启动可以正常运行。然而，如果重新启动来宾，则无法再次启动。
我认为可能有某种问题导致无法重新初始化 passthrough 设备，无法解决。每次重新启动来宾都需要重启主机，来宾重启没有意义，让我很困惑...如果有人知道解决方案，请告诉我。
*添加于2023年1月27日
由于 13-STABLE 源代码树中 bhyve 命令和内核的 vmm 相关部分有重大更改，因此我怀疑并尝试更新到最新的 13-STABLE 后，成功地使客户机可以重新启动。现在可以放心地充分使用了。
