前两天对DPDK的igb_uio相关的代码做了下分析，先把这期间碰到的一些问题和代码分析记下来，作为一个小总结。
Igb_uio代码相关的可以分为三个部分：igb_uio内核驱动，内核uio框架，uio用户态部分。
Igb_uio内核驱动
Igb_uio驱动主要做的就是注册一个pci设备。但是igbuio_pci_driver对应的保存pci设备信息的id_table指针为空，这样在内核注册此pci设备时，会找不到匹配的设备，就不会调用igb_uio驱动中的探测probe函数，只会在/sys目录下创建Igb_uio相应的目录。
如何probe
在插入igb_uio.ko时是probe不到设备的，那是什么时候侦测到的呢？dpdk提供了一个Python脚本dpdk_nic_bind.py。
python tools/dpdk_nic_bind.py –bind=igb_uio eth1
运行上述命令就是将eth1网卡绑定到igb_uio模块。这时dmesg就会看到igb_uio模块的probe函数执行了，也就是意味着扫描到了匹配的pci设备。
经过分析dpdk_nic_bind.py，此脚本文件在上述情况下主要做了以下几步：
◆获取参数指定的网卡eth1的设备信息。使用lspci–Dvmmn查看。
|
Slot: 0000:06:00.1 Class: 0200 Vendor: 8086 Device: 1521 SVendor: 15d9 SDevice: 1521 Rev: 01 |
可以查看到slot槽位信息、厂商号vendor ID、设备号device ID等信息。
◆unbind之前的igb模块。
将前面获取到的eth1对应的slot信息0000:06:00.1值写入igb的unbind文件。
echo 0000:06:00.1 > /sys/bus/pci/drivers/igb/unbind
从内核代码分析此unbind的动作就是将igb模块信息和此pci设备Dev去关联。将dev->driver指针置为空，这个很重要。在内核处理pci设备注册的函数中，就算驱动的vendor ID和device ID与设备的都匹配上了，如果此设备的dev->driver指针不为空，也不会调用probe函数的。
◆bind新的igb_uio模块
将eth1设备的vendor和device ID信息写入igb_uio的new_id文件。
echo 0x8086 0x1521 > /sys/bus/pci/drivers/igb_uio/new_id
内核中处理此步的函数为store_new_id，此函数中是将写入的vendor和device存入到此driver，也就是igb_uio的id_table，然后以此与PCI上的设备进行匹配，这个时候肯定会匹配成功，然后调用igb_uio模块的probe函数进行初始化动作。
初始化分析
一个设备驱动要实现的功能根据实际需要可能千差万别，但是究其本质来说无非两件事情：一个是内存的操作，另外一个就是中断的处理。Igb_uio驱动和igb驱动都是网卡这个PCI设备的驱动，相同点就是要使能PCI设备，分配内存等，不同的就在于对内存和中断的处理方式的差异。
下面看下igb_uio驱动与igb驱动相比的probe函数的不同之处：
◆记录设备的资源
igb_uio模块遍历此PCI设备BAR空间，对应于类型为存储器空间IORESOURCE_MEM的BAR，将其物理地址、大小等信息保存到uio_info结构的mem数组中之中；类型为寄存器空间IORESOURCE_IO的BAR，将其物理地址、大小等信息保存到uio_info结构的port数组中。
从上图可知，此网卡PCI设备有三个BAR空间，BAR0类型为存储器空间，物理地址为0xfbd00000，大小为128K；BAR2类型为寄存器空间，物理地址为0xb000，大小为32字节；BAR3类型为存储器空间，物理地址为0xfbd40000，大小为16K。
Igb驱动也会遍历BAR空间，但是它不会记录空间的物理地址，而是调用ioremap函数将物理地址映射为虚拟地址，驱动在内核态读写操作映射出来的虚拟地址。
◆注册一个uio设备
Linux上的驱动设备一般都是运行在内核态的，提供接口函数给用户态函数调用即可。而新引入的UIO技术，则是将驱动的大部分事情移到了用户态。前面讲到probe函数会记录设备的资源，具体而言就是PCI设备BAR空间的物理地址、大小等信息记录下来传给用户态。除了记录BAR空间资源信息，uio框架还会在内核态实现中断处理相关的初始化工作。
igbuio_pci_probe代码片段：
|
/* fill uio infos */ udev->info.name =“igb_uio”; udev->info.version =“0.1”; udev->info.handler =igbuio_pci_irqhandler; udev->info.irqcontrol =igbuio_pci_irqcontrol; |
注册的uio设备名为igb_uio，内核态中断处理函数为igbuio_pci_irqhandler，中断控制函数igbuio_pci_irqcontrol。这两个函数有什么用呢？下面在分析UIO注册函数时分析。
igbuio_pci_probe代码片段：
|
switch (igbuio_intr_mode_preferred) { case RTE_INTR_MODE_MSIX: msix_entry.entry =0; if (pci_enable_msix(dev,&msix_entry,1)==0) { udev->info.irq =msix_entry.vector; udev->mode =RTE_INTR_MODE_MSIX; break; }
case RTE_INTR_MODE_LEGACY: if (pci_intx_mask_supported(dev)) { udev->info.irq_flags =IRQF_SHARED; udev->info.irq =dev->irq; udev->mode =RTE_INTR_MODE_LEGACY; break; } |
变量igbuio_intr_mode_preferred表示中断的模式，它由igb_uio驱动模块的参数intr_mode决定，有MSIX中断和Legacy中断两种模式，默认的是MSIX中断模式。
如果是MSIX中断模式，调用pci_enable_msix函数向PCI子系统申请分配一个MSIX中断；如果分配成功就会初始化uio_info的irq为申请到的中断号。如果是传统的Intx中断模式，调用pci_intx_mask_supported函数读取PCI配置空间，检查是否支持Intx中断。
在对uio_info内存和中断相关的成员初始化之后，就是调用uio_register_device函数来注册uio设备了，下面结合内核代码看下此函数做了些什么。
__uio_register_device代码片段：
|
idev->owner =owner; idev->info =info; init_waitqueue_head(&idev->wait); atomic_set(&idev->event,0); idev->dev =device_create(&uio_class,parent, MKDEV(uio_major,idev->minor),idev, “uio%d”,idev->minor);
ret =uio_dev_add_attributes(idev); info->uio_dev =idev;
if (info->irq &&(info->irq !=UIO_IRQ_CUSTOM)) { ret =devm_request_irq(idev->dev,info->irq,uio_interrupt, info->irq_flags,info->name,idev); } |
上面代码是__uio_register_device函数的主要部分
1、 初始化uio_device结构体指针idev，主要包括等待队列wait、中断事件计数event、
次设备号minor等。
2、在/dev目录下创建了一个uio设备，设备名为uio%d，%d对应的就是次设备号minor。
3、接着就是调用uio_dev_add_attributes函数在/sys/class/uio/uioX/目录下创建maps和portio接口。前面讲到会遍历此PCI设备的BAR空间，将存储器空间类型的BAR的物理地址等信息存储在uio_info的mem数组中，这里就会根据此mem数组在maps目录下为每个寄存器类型的BAR创建一个目录，如下图所示：
前面图1可以看到igb网卡有两个类型为IORESOURCE_MEM的BAR，分别为BAR0和BAR3，这里就创建了map0和map1两个子目录分别对应BAR0和BAR3。你可以依次查看对应目录下的name、addr字段，正好对应于图1中看到的信息。
同理会根据port数组在portio目录下为每个寄存器类型的BAR创建一个子目录，这里就不细说了。
4、最后就是注册中断了，中断的中断号、中断标志等在前面有讲到，这里看下注册的中断处理函数uio_interrupt。
|
static irqreturn_t uio_interrupt(intirq,void *dev_id) { struct uio_device *idev =(struct uio_device *)dev_id; irqreturn_t ret =idev->info->handler(irq,idev->info);
if (ret==IRQ_HANDLED) uio_event_notify(idev->info);
return ret; } |
此函数首先调用igb_uio驱动中设置的中断处理函数igbuio_pci_irqhandler来检查中断是不是此设备的中断，如果是就返回IRQ_HANDLED表示需要处理，接着调用函数uio_event_notify来唤醒等待队列wait上进程来处理中断事宜。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/214223.html原文链接：https://javaforall.net
