PVE8.1下部署Intel集显虚拟化驱动

博主：将夜
发布时间：2023 年 12 月 29 日
6831 次浏览
20 条评论
4041字数
分类：使用心得

# PVE8.1下部署Intel集显虚拟化驱动

视频演示链接: https://www.bilibili.com/video/BV1vw411G7KC/

## 关于虚拟化

Intel家的U原生提供/支持VT-D功能, bois开启支持后, 允许将物理PCIE设备分配给虚拟机, 让虚拟机直接控制硬件, 但是此时虚拟机会独占此PCIE设备, 在有成百上千个虚拟机的场景, 给每个虚拟机都直通一个PCIE设备, 比如网卡, 几乎是不可能的

所以Intel研究出了SR-IOV虚拟化技术, 这是一种基于硬件的虚拟化解决方案，允许将一个物理PCIE设备虚拟成多个(PCIE物理设备), 之后再分配给虚拟机使用, 避免了一个PCIE设备只能给一个虚拟机使用的尴尬.

## 关于DKMS

DKMS 是 Dynamic Kernel Module Support的缩写, 是一个用于管理和维护Linux内核的工具.  它能够帮我们在内核升级时自动重新编译和安装第三方内核模块, 从而保持这些模块与新内核保持兼容.

接下来我们会演示在PVE8.1系统的Debian12系统上, 使用DKMS工具给其自带的`6.5.11-7`内核编译安装对应集显的SR-IOV虚拟化驱动

注意: 此种直通方式(集显的SR-IOV虚拟化驱动虚拟的PCIE集显)只能给远程桌面访问虚拟机时, 内部加速计算使用, 而无法通过主机上的HDMI接口输出虚拟机的桌面到外接显示器上

## 部署代码

系统信息查看

```bash
# 系统
cat /etc/os-release

# 内核
uname -ar
```

APT软件源索引更新与必要工具软件安装

```bash
apt update
apt install -y git build-* dkms # 必要编译工具安装
apt install pve-headers-$(uname -r)

# apt install -y vim #(可选)
```

设置环境变量

```bash
KERNEL=$(uname -r); KERNEL=${KERNEL%-pve}
echo ${KERNEL}
```

核显虚拟化驱动项目的源码下载与配置修改

```bash
cd ~
git clone https://github.com/strongtz/i915-sriov-dkms.git
cd ~/i915-sriov-dkms
cp -a ~/i915-sriov-dkms/dkms.conf{,.bak}
sed -i 's/"@_PKGBASE@"/"i915-sriov-dkms"/g' ~/i915-sriov-dkms/dkms.conf
sed -i 's/"@PKGVER@"/"'"$KERNEL"'"/g' ~/i915-sriov-dkms/dkms.conf
# sed -i 's/ -j$(nproc)//g' ~/i915-sriov-dkms/dkms.conf
cat ~/i915-sriov-dkms/dkms.conf
```

![2023-12-29T04:10:41.png][1]

DKMS添加驱动源码管理并安装部署

```bash
# 链接内核源代码，并检查状态。确认内核显示已添加。
cp -r ~/i915-sriov-dkms /usr/src/i915-sriov-dkms-$KERNEL
ls /usr/src # 查看

cd /usr/src/i915-sriov-dkms-$KERNEL
dkms add .
dkms status

# 构建新内核并检查状态。验证是否显示已安装。
dkms install -m i915-sriov-dkms -v $KERNEL -k $(uname -r) --force -j 4
dkms status
```

对于PVE8.1版本，安全启动可能已启用。如果启动, 则以下是MOK 相关设置是必须的.(默认安装方式没有启用, 可以跳过)

* <span style='color:red'>如果后续设置完毕, 重启机器后查看集显对应的设备条目数没有变化, 即没有出现虚拟核显设备, 请分别检查bois设置是否开启虚拟化对应的相关选项, 以及如下是否系统内核启用了安全引导而未在第一次重启系统时,在开机设置选项正确配置MOK相关引导配置项,导致内核未加载DKMS安装的扩展, 此时需要进入系统后, 重置MOK设置,再次重启进行相关配置</span>

```bash
# 为以防万一，我们需要加载 DKMS 密钥，以便内核加载模块。运行以下命令，然后输入密码。
# 该密码仅用于 MOK 设置，重启主机时会用到, 再之后就不需要密码。
# 该密码不必与 root 账户使用的密码相同。
mokutil --import /var/lib/dkms/mok.pub

# 重启机器, 在开机页面, 开机引导页面依次选择: 
# * Enroll MOK, Continue, Yes, <password>, Reboot
# 如果错过, 需要进入终端, 重新运行 mokutil ... 命令并再次重启。
# 在完成此设置之前，DKMS 模块不会加载。

# Ubuntu重置MOK
# 参见: https://wiki.ubuntu.com/UEFI/SecureBoot
update-secureboot-policy --enroll-key
```

GRUB 配置

```bash
# 解释: i915.max_vfs=7 表示最多虚拟成7个设备
cp -a /etc/default/grub{,.bak} 
sed -i '/^GRUB_CMDLINE_LINUX_DEFAULT/c\GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt i915.enable_guc=3 i915.max_vfs=7"' /etc/default/grub
update-grub
update-initramfs -u -k all

# 工具软件安装
apt install sysfsutils -y
```

![2023-12-29T04:08:31.png][2]

运行以下命令，查看/确认显卡所在的PCIe 总线。通常是 00:02.0

```bash
lspci | grep VGA
```

运行以下命令, 如果PCIe 总线编号不一致, 可能需要修改。

```bash
# 在本例中，我使用的是 00:02.0。要验证文件是否已修改，请 cat 文件并确保已修改。
# 此处根据需要修改具体的虚拟设备数(一定小于上面设置的i915.max_vfs值) 
# 示例设置2 (后续计划为2台虚拟机直通)

echo "devices/pci0000:00/0000:00:02.0/sriov_numvfs = 2" >> /etc/sysfs.conf
cat /etc/sysfs.conf
```

确认驱动与配置情况(重启系统后)
bash

```
# 此处结果应该从1条变成3条(新增2个虚拟集显/显卡)
lspci | grep VGA

#会显示次要 PCIe ID 1-2
dmesg | grep i915
```

![2023-12-29T03:58:39.png][3]

修改WIN10虚拟机配置, 增加PCI设备

注意:不要直通.0设备,即0000:00:02.0设备,不要勾选`全部功能`
添加任意一个SR-IOV虚拟出来的集显设备, 额外属性勾选 "主GPU,PCIE", 如图所示

![2023-12-29T04:00:11.png][4]

## 其它(补充)

Mac上访问WIN10远程桌面, 不使用虚拟机安装Windows的情况下, 可以使用微软家Remote Desktop client
官方链接: https://learn.microsoft.com/en-us/windows-server/remote/remote-desktop-services/clients/remote-desktop-mac

推荐下载Mac最新测试版本, 安装后, 新建目标主机连接进行相关配置后即可使用.
![2023-12-29T22:10:24.png][5]

参考:

* https://gist.github.com/scyto/e4e3de35ee23fdb4ae5d5a3b85c16ed3

[1]: https://zoe.red/usr/uploads/2023/12/4115616420.png
[2]: https://zoe.red/usr/uploads/2023/12/3282655274.png
[3]: https://zoe.red/usr/uploads/2023/12/905994778.png
[4]: https://zoe.red/usr/uploads/2023/12/2240295211.png
[5]: https://zoe.red/usr/uploads/2023/12/743868927.png

THE END

本文作者：将夜
本文链接：https://zoe.red/2023/38.html
版权声明：本博客所有文章除特别声明外，均默认采用 CC BY-NC-SA 4.0 许可协议。

最后修改：2024 年 01 月 16 日

如果觉得我的文章对你有用，请随意赞赏

20 条评论

roqii
2024-06-09 11:00 来自中国广东省佛山市联通 / Mac OS X 10.15.7 / Google Chrome

执行dkms install -m i915-sriov-dkms -v $KERNEL -k $(uname -r) --force -j 4
出现
Sign command: /lib/modules/6.8.4-2-pve/build/scripts/sign-file
Signing key: /var/lib/dkms/mok.key
Public certificate (MOK): /var/lib/dkms/mok.pub
Error! The /var/lib/dkms/i915-sriov-dkms/6.8.4-2/6.8.4-2-pve/x86_64/dkms.conf for module i915-sriov-dkms includes a BUILD_EXCLUSIVE directive which does not match this kernel/arch/config.
This indicates that it should not be built.
这个问题，实属不知如何解决

回复
romey
2024-05-30 21:29 来自中国江苏省徐州市电信 / Windows 10 / Microsoft Edge

root@pve:/usr/src/i915-sriov-dkms-# dkms install -m i915-sriov-dkms -v $KERNEL -k $(uname -r) --force -j 4
Warning: I do not know how to handle 6.5.13-5-pve.
Sign command: /lib/modules/6.5.13-5-pve/build/scripts/sign-file
Signing key: /var/lib/dkms/mok.key
Public certificate (MOK): /var/lib/dkms/mok.pub
Error! Could not find module source directory.
大佬编译的时候出现这个是因为啥呀

回复
1. romey
  2024-05-31 11:58 来自中国江苏省徐州市电信 / Android 14 / Google Chrome
  
  @romey
  
  已解决了
  
  回复
  1. 五花猪肉
    2024-06-09 14:43 来自中国广东省揭阳市电信 / Windows 11 / Google Chrome
    
    @romey
    
    请问怎么解决的我也遇到了
    
    回复
    
    romey
    2024-06-09 21:29 来自中国江苏省徐州市电信 / Android 14 / 手机QQ
    
    @五花猪肉
    
    6.5.13是有bug，建议重新装pve，或者参考这个打个补丁https://www.cnblogs.com/doracloud/p/18129868
    
    回复
挺胸的男士
2024-05-27 16:42 来自中国浙江省台州市电信 / Windows 11 / Microsoft Edge

一键升级PVE之后就失效了重新按照教程来一遍也不行了

回复
Claude
2024-04-14 10:55 来自中国上海市联通 / Windows 11 / Google Chrome

首先确认下设备和和环境：
N100软路由 12代CPU 安装的PVE8.1.10 内核版本Linux claude 6.5.13-5-pve 软件源已更新，GITHUB可连接
PVE后台输入ls /dev/dri 返回by-path card0 renderD128
对于关键位置的反馈：
输入
cat ~/i915-sriov-dkms/dkms.conf、
返回
PACKAGE_NAME="i915-sriov-dkms"
PACKAGE_VERSION="6.5.11-8"
DKMS添加驱动源码管理并安装部署中
输入ls /usr/src
返回i915-sriov-dkms-6.5.11-8 linux-headers-6.1.10-1-pve linux-headers-6.5.11-8-pve
构建新内核并检查状态。验证是否显示已安装。输入dkms status返回i915-sriov-dkms/6.5.11-8, 6.5.11-8-pve, x86_64: installed
GRUB 配置中已经确认添加该内容：
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt i915.enable_guc=3 i915.max_vfs=7"
确认显卡所在的PCIe 总线：00:02.0 VGA compatible controller: Intel Corporation Alder Lake-N [UHD Graphics]
/etc/sysfs.conf文件已经添加devices/pci0000:00/0000:00:02.0/sriov_numvfs = 2
然后重启后
lspci | grep VGA
返回00:02.0 VGA compatible controller: Intel Corporation Alder Lake-N [UHD Graphics]
无新增虚拟核显

回复
1. 将夜
  2024-04-23 20:24 来自中国北京市联通 / Mac OS X 10.15.7 / Google Chrome
  
  @Claude
  
  在上一步的软件源更新配置结束后, 最新的仓库源更新的pve内核版本不一定是视频演示的'6.5.11.8', 比如现在应该是'6.5.13-5', 对应$KERNEL的输出, 因此cat ~/i915-sriov-dkms/dkms.conf、
  返回
  PACKAGE_NAME="i915-sriov-dkms"
  PACKAGE_VERSION="6.5.11-8" <=在这个时间节点, 问题这里是这个值就不对了, 按说不修改直接顺序执行脚本输出的内容应该为$KERNEL对应的("6.5.`3.5"), 是你手动给修改了么?
  
  回复
2. james
  2024-04-20 14:12 来自中国浙江省杭州市电信 / Mac OS X 10.15.7 / Google Chrome
  
  @Claude
  
  我也是怎么解决
  
  回复
鸭梨 1
2024-04-12 19:39 来自中国河北省保定市电信 / Windows 10 / Google Chrome

老哥，你sriov咋更新呀

回复
2223
2024-04-05 15:09 来自中国浙江省台州市电信 / Windows 11 / Microsoft Edge

怎么删除旧的内核啊升级后里面有俩

回复
1. 将夜
  2024-04-05 17:20 来自中国北京市联通 / Mac OS X 10.15.7 / Google Chrome
  
  @2223
  
  配置的时候只需要看实际使用的就行, 一般升级后再重启默认就使用最新的内核了, 也可以用uname -ar命令查确认下; 一定要清理旧内核, 可以网上搜下, 资料很多
  
  回复
屁孩
2024-03-13 19:51 来自中国四川省成都市电信 / Windows 11 / Microsoft Edge

按教程创建完毕，给Ubuntu添加pci核显后，虚拟机无法启动，还会出现死机问题，请教一下。

回复
lili
2024-02-29 23:51 来自中国上海市浦东新区电信 / Windows 10 / Microsoft Edge

root@pve:/usr/src/i915-sriov-dkms-6.5.13-1# lsmod | grep kvm
kvm_intel 458752 0
kvm 1339392 1 kvm_intel
irqbypass 12288 2 vfio_pci_core,kvm
root@pve:/usr/src/i915-sriov-dkms-6.5.13-1# lspci
00:00.0 Host bridge: Intel Corporation Device 4c53 (rev 01)
00:02.0 VGA compatible controller: Intel Corporation RocketLake-S GT1 [UHD Graphics 750] (rev 04)
00:06.0 PCI bridge: Intel Corporation Device 4c09 (rev 01)
00:08.0 System peripheral: Intel Corporation Device 4c11 (rev 01)
00:14.0 USB controller: Intel Corporation Tiger Lake-H USB 3.2 Gen 2x1 xHCI Host Controller (rev 11)
00:14.2 RAM memory: Intel Corporation Tiger Lake-H Shared SRAM (rev 11)
00:16.0 Communication controller: Intel Corporation Tiger Lake-H Management Engine Interface (rev 11)
00:17.0 SATA controller: Intel Corporation Device 43d2 (rev 11)
00:1b.0 PCI bridge: Intel Corporation Device 43c4 (rev 11)
00:1c.0 PCI bridge: Intel Corporation Tiger Lake-H PCI Express Root Port #5 (rev 11)
00:1c.5 PCI bridge: Intel Corporation Device 43bd (rev 11)
00:1f.0 ISA bridge: Intel Corporation B560 LPC/eSPI Controller (rev 11)
00:1f.3 Audio device: Intel Corporation Tiger Lake-H HD Audio Controller (rev 11)
00:1f.4 SMBus: Intel Corporation Tiger Lake-H SMBus Controller (rev 11)
00:1f.5 Serial bus controller: Intel Corporation Tiger Lake-H SPI Controller (rev 11)
01:00.0 Non-Volatile memory controller: Yangtze Memory Technologies Co.,Ltd ZHITAI TiPro5000 NVMe SSD (rev 01)
02:00.0 SATA controller: ASMedia Technology Inc. ASM1166 Serial ATA Controller (rev 02)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05)
04:00.0 Network controller: Intel Corporation Wi-Fi 6 AX210/AX211/AX411 160MHz (rev 1a)
i5 11500操作完还是一个
有啥思路排查啥原因吗

回复
1. ntr
  2024-03-04 20:19 来自中国广东省江门市移动 / Windows 10 / Firefox
  
  @lili
  
  11代不支持别折腾了，在b站那边评论区很多说11代不支持，只能12代了，我也是11代不过是n6005，找了很多网站博客，自己也试了几次，确实不行。
  
  回复
CXF
2024-02-27 15:32 来自中国广东省广州市电信 / Windows 11 / Microsoft Edge

请教大大，按照你的视频做到最后一步，发现还是只有一个核显，于是回头将MOK操作了一遍，确认bios虚拟已经打开，但还是只有一个核显。。。是不是设置完MOK之后还需要重做其他操作？

回复
1. lili
  2024-02-29 23:53 来自中国上海市浦东新区电信 / Windows 10 / Microsoft Edge
  
  @CXF
  
  遇到同样问题，请问解决了吗
  
  回复
2. 将夜
  2024-02-27 22:39 来自中国北京市联通 / Mac OS X 10.15.7 / Google Chrome
  
  @CXF
  
  先确认下设备CPU型号, 是不是Intel 11代及以上的吧; 如果是更早版本CPU,可能不支持SR-IOV, 建议验证失败后就放弃此方案吧
  
  回复
晨风
2024-01-08 16:43 来自中国重庆市联通 / Windows 10 / Google Chrome

在搞个 SR-IOV 网卡教程

回复
晨风
2024-01-08 16:33 来自中国重庆市联通 / Windows 10 / Google Chrome

你的这个好用

回复