(编辑:jimmy 日期: 2024/12/25 浏览:2)
SRIOV介绍、VF直通配置,以及包转发率性能测试
目录
1. SRIOV介绍
"color: #ff0000">2. 环境说明
机型:Dell PowerEdge R620
网卡:Intel X520(82599ES)
宿主OS:CentOS 7
VM OS:CentOS 7
3. 开启SRIOV
在BIOS里开启SRIOV,如图所示
注:即使BIOS里开启全局SRIOV,网卡也依然可以当作普通网卡使用
需要在BIOS里开启VT-d
grub配置iommu
iommu=pt intel_iommu=on
4. 生成VF
# 启动网卡 ip link set p1p1 up # 查看pf的pci编号 lshw -c network -businfo # 查看网卡支持的vf数量 cat /sys/bus/pci/devices/0000:41:00.0/sriov_totalvfs # 生成vf,建议加入开机启动 echo 63 > /sys/bus/pci/devices/0000:41:00.0/sriov_numvfs
注意:若没有屏蔽宿主的VF驱动,则在生成vf后还必须等待一会时间才能在宿主上看到所有命名完成的网卡(否则会看到一堆ethX网卡),vf数量越多需要等待时间越长,63个vf,差不多需要10秒
5. VF直通
如果qemu是通过libvirt管理的,有3种配置方法:
"htmlcode">
<interface type='hostdev' managed='yes'> <mac address='52:54:00:ad:ef:8d'/> <source> <address type='pci' domain='0x0000' bus='0x41' slot='0x10' function='0x0'/> </source> <vlan> <tag id='4010'/> </vlan> </interface>
上面<source>中address的地址,可以根据“lshw -c network -businfo”来配置,比如
pci@0000:41:10.0 p1p1_0
"htmlcode">
<hostdev mode='subsystem' type='pci' managed='yes'> <source> <address domain='0x0000' bus='0x41' slot='0x10' function='0x0'/> </source> </hostdev>
上面<source>中address的地址,也是根据“lshw -c network -businfo”来配置
"htmlcode">
<network> <name>sriov-int</name> <forward mode='hostdev' managed='yes'> <pf dev='p1p1'/> </forward> </network>
加入到libvirt net-pool、激活、并设置开机启动
virsh net-define sriov-int.xml virsh net-start sriov-int virsh net-autostart sriov-int
虽然配置了net-autostart,但并不管用,因为物理机启动时候,经常会在启动生成vf(假设在rc.local里生成vf)之前就启动libvirt,而这个net-pool(sriov-int)本应该在vf生成后才能启动,因此建议在rc.local里增加如下内容来确保启动
ip link set p1p2 up echo 63 > /sys/bus/pci/devices/0000:41:00.0/sriov_numvfs virsh net-start sriov-int
然后,在vm的xml里增加
<interface type='network'> <mac address='52:54:00:ad:ef:8d'/> <source network='sriov-int'/> <vlan> <tag id='4010'/> </vlan> </interface>
3种方法如何选择
"color: #ff0000">6. 开启irqbalance
x520是2队列,x710是4队列,需要在vm里启动中断平衡服务(irqbalance),否则只会有一个cpu来处理数据包。
另外,这与宿主上vf的query_rss无关。
7. VM迁移
直通网卡属于PCI设备,而libvirt和qemu却不支持带有非USB的PCI设备的vm做迁移,包括冷迁移和热迁移。因此热迁移无法实现。
冷迁移,有2种方案:
"color: #ff0000">8. 带宽限速
只能限制出站带宽,无法限制入站带宽
ip link set p1p1 vf 0 max_tx_rate 100
表示出站带宽限速100Mbps,不同网卡有差别:
"color: #ff0000">9. 安全
仅支持源mac过滤和网卡mac防篡改,不支持其他安全防护(防arp欺骗就无法实现)
源mac过滤
ip link set p1p1 vf 0 spoofchk on
表示vm里发出的包,如果源mac不是指定mac,那么数据包不允许通过。注意:vm关机后vf的spoofchk不会复位
网卡mac防篡改
"htmlcode">
ip link set p1p1 vf 0 mac aa:bb:cc:dd:ee:ff
建议:
"color: #ff0000">10. 其他使用限制
"color: #ff0000">11. 性能测试
测试方法:
测试结论:
使用SR-IOV+VF直通方式可以明显提升包转发率,1对1的测试结果看到kernel态发包可以达到3.5Mpps,收包可以达到1.9Mpps
"color: #ff0000">12. windows虚拟机使用VF
到网卡官网下载对应驱动并安装,经测试,win2012默认就有82599(x520)驱动,但版本旧
13. 运维命令
# 查看网卡支持的vf数量 cat /sys/bus/pci/devices/0000:41:00.0/sriov_totalvfs # 宿主屏蔽VF驱动后查看vf和pf的对应 https://github.com/intel/SDN-NFV-Hands-on-Samples/blob/master/SR-IOV_Network_Virtual_Functions_in_KVM/listvfs_by_pf.sh 载下来后执行./listvfs_by_pf.sh即可 # 宿主屏蔽VF后查看哪些VF正在被使用 yum install dpdk-tools dpdk-devbind --status # 查看网卡对应哪个socket lstopo-no-graphics # lspci查看网卡信息 lspci -Dvmm|grep -B 1 -A 4 Ethernet # 宿主上查看具体VF流量(仅支持x520,x710查不到) ethtool -S p1p1 | grep VF
14. 宿主屏蔽VF驱动
echo "blacklist ixgbevf" /etc/modprobe.d/blacklist.conf
表示当物理机启动时候,默认不加载ixgbevf驱动,但是如果手动modprobe ixgbevf,则也会加载驱动。
如果当前已经加载了ixgbevf,想卸载,则需要如下步骤
echo 0 > /sys/bus/pci/devices/0000:41:00.0/sriov_numvfs rmmod ixgbevf echo 63 > /sys/bus/pci/devices/0000:41:00.0/sriov_numvfs
附. 包转发率测试方法
modprobe pktgen:发包通过pktgen来发,收包通过sar -n DEV来看,发的是udp包
#!/bin/bash NIC="eth1" DST_IP="192.168.1.2" DST_MAC="52:54:00:43:99:65" modprobe pktgen pg() { echo inject > $PGDEV cat $PGDEV } pgset() { local result echo $1 > $PGDEV result=`cat $PGDEV | fgrep "Result: OK:"` if [ "$result" = "" ]; then cat $PGDEV | fgrep Result: fi } # Config Start Here ----------------------------------------------------------- # thread config # Each CPU has own thread. Two CPU exammple. We add ens7, eth2 respectivly. PGDEV=/proc/net/pktgen/kpktgend_0 echo "Removing all devices" pgset "rem_device_all" echo "Adding ${NIC}" pgset "add_device ${NIC}" # device config # delay 0 means maximum speed. CLONE_SKB="clone_skb 1000000" # NIC adds 4 bytes CRC PKT_SIZE="pkt_size 64" # COUNT 0 means forever COUNT="count 0" DELAY="delay 0" PGDEV=/proc/net/pktgen/${NIC} echo "Configuring $PGDEV" pgset "$COUNT" pgset "$CLONE_SKB" pgset "$PKT_SIZE" pgset "$DELAY" pgset "dst ${DST_IP}" pgset "dst_mac ${DST_MAC}" # Time to run PGDEV=/proc/net/pktgen/pgctrl echo "Running... ctrl^C to stop" pgset "start" echo "Done" # Result can be vieved in /proc/net/pktgen/eth[3,4]
"htmlcode">
# 固定ip固定mac set 0 dst ip 192.168.10.240 set 0 src ip 192.168.10.245/24 set 0 dst mac c8:1f:66:d7:58:ba set 0 src mac a0:36:9f:ec:4a:28 # 可变source ip可变source mac stop 0 range 0 src ip 192.168.0.1 192.168.0.1 192.168.200.200 0.0.0.1 range 0 dst ip 10.1.1.241 10.1.1.241 10.1.1.241 0.0.0.0 range 0 dst mac c8:1f:66:d7:58:ba c8:1f:66:d7:58:ba c8:1f:66:d7:58:ba 00:00:00:00:00:00 range 0 src mac a0:36:9f:ec:4a:28 a0:36:9f:ec:4a:28 a0:36:9f:ec:ff:ff 00:00:00:00:01:01 range 0 src port 100 100 65530 1 range 0 dst port 100 100 65530 1 range 0 size 64 64 64 0 enable 0 range enable 0 latency start 0 # 按50%的速率发包 set 0 rate 50
附. 参考文档
openstack关于sriov的限制
https://docs.openstack.org/mitaka/networking-guide/config-sriov.html
迁移
https://wenku.baidu.com/view/d949db67998fcc22bcd10dfd.html
https://www.chenyudong.com/archives/live-migrate-with-pci-pass-through-fail-with-libvirt-and-qemu.html
sriov配置
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/virtualization_host_configuration_and_guest_installation_guide/sect-virtualization_host_configuration_and_guest_installation_guide-sr_iov-how_sr_iov_libvirt_works
线速
http://netoptimizer.blogspot.tw/2014/05/the-calculations-10gbits-wirespeed.html
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。