sendfile函数–零拷贝

sendfile函数–零拷贝零拷贝:零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除通信数据在存储器之间不必要的中间拷贝过程,有效地提高通信效率,是设计高速接口通道、实现高速服务器和路由器的关键技术之一。sendfile#includessize_tsendfile(intout_fd,intin_fd,off_t*offset,size_tcount);参数特别注意

大家好,又见面了,我是你们的朋友全栈君。

零拷贝:零拷贝技术可以减少数据拷贝和共享总线操作的次数,消除通信数据在存储器之间不必要的中间拷贝过程,有效地提高通信效率,是设计高速接口通道、实现高速服务器和路由器的关键技术之一。
sendfile

#include <sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count);

参数特别注意的是:in_fd必须是一个支持mmap函数的文件描述符,也就是说必须指向真实文件,不能使socket描述符和管道。
out_fd必须是一个socket描述符.
由此可见sendfile几乎是专门为在网络上传输文件而设计的。
out_fd:已经打开了,用于写操作的文件描述符
in_fd:已经打开了,用于读操作的文件描述符
offset:偏移量:表示sendfile函数从in_fd中的哪一偏移量开始读取数据,如果是0表示从文件的开始读,否则从相应的偏移量读取,如果是循环读取的时候,下一次offset值应为sendfile函数返回值加上本次的offset的值。
count:是在两个描述符之间拷贝的字节数
返回值:
如果成功的拷贝,返回写操作到out_fd的字节数,错误返回-1,并相应的设置error信息。

关于sendfile与read和write的比较
服务器响应一个http请求的步骤如下:
1.把磁盘文件读入内核缓冲区
2.从内核缓冲区读到内存
3.处理(静态资源不需要处理)
4.发送到网卡的内核缓冲区(发送缓存)
5.网卡发送数据
而sendfile系统调用,省略了2,3步,磁盘文件被直接发送到了网卡的内存缓冲区,减少了数据复制和内核态切换的开销。
sendfile一直都在核心态进行

普通的read和write的传统网络传输过程的步骤

read(file, tmp_buf, len);
write(socket, tmp_buf, len);
硬盘 >> kernel buffer >> user buffer >> kernel socket buffer >> 协议栈

一般的网络应用是通过读硬盘数据,然后写数据到socket来完成网络传输的。
底层实现如下:
1.系统调用read()产生一个上下文切换:从用户模式切换到内核模式,然后DMA(直接内存存取)执行拷贝,把文件数据从硬盘读到一个内核缓冲区里面去。
2.数据从内核缓冲区拷贝到用户态缓冲区,然后系统调用read()返回,这时又产生一个上下文切换:从内核状态切换到用户态。
3.系统调用write()产生一个上下文切换:从用户态切换到内核态,然后把步骤2中读到用户缓冲区的数据拷贝到核心态缓冲区(数据第二次拷贝到核心态缓冲区),不过这次是个不同的核心态缓冲区,这个缓冲区和socket相关联。
4.系统调用write()返回,产生一个上下文切换:从内核态切换到用户态(第4次切换),然后DMA从内核缓冲区拷贝数据到协议栈(第四次拷贝)。

上述4个步骤,4次上下文切换,4次拷贝,我们发现减少他的切换和拷贝次数,将有效提高性能。这也是sendfile提高性能的方法。

关于sendfile进行网络传输的过程

sendfile(socket, file, len);
硬盘 >> kernel buffer (快速拷贝到kernel socket buffer) >> 协议栈

1.系统调用sendfile()通过DMA把硬盘数据拷贝到内核缓冲区,然后数据直接拷贝到另一个与socket相关的内核缓冲区。(区别)这里没有用户态和核心态之间的切换,在核心态中直接完成了从一个缓冲区到另一个缓冲区的拷贝。
2.DMA把数据从内核缓冲区直接拷贝给协议栈,没有切换,也不需要数据从用户态拷贝到核心态,因为数据就在内核里面。
由此比较,sendfile远比read和write方式在进行数据拷贝时高效。

关于sendfile的应用代码–代码作用是把a文件(和客户端程序在同一目录下)传递给服务器端
服务端

#include <netinet/in.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <assert.h>
int main(int argc,char* argv[])
{
    int sockfd = socket(AF_INET,SOCK_STREAM,0);
    assert(sockfd!=-1);

    struct sockaddr_in saddr,caddr;

    saddr.sin_family = AF_INET;
    saddr.sin_port = htons(6500);
    saddr.sin_addr.s_addr = inet_addr("192.168.1.11");

    int res = bind(sockfd,(struct sockaddr*)&saddr,sizeof(saddr));
    assert(res!=-1);

    listen(sockfd,5);

    int len = sizeof(caddr);
    int c = accept(sockfd,(struct sockaddr*)&caddr,&len);

    while(1)
    {
         if(c<0)
         {
             continue;
         }
         char buff[128] = {
  
  0};
         recv(c,buff,127,0);
         printf("%s",buff);
    }
    close(c);
    return 0;
}

客户端

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <assert.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <sys/sendfile.h>

int main(int argc,char* argv[])
{
    int sockfd = socket(AF_INET,SOCK_STREAM,0);
    assert(sockfd!=-1);

    struct sockaddr_in saddr;
    memset(&saddr,0,sizeof(saddr));
    saddr.sin_family = AF_INET;
    saddr.sin_port = htons(6500);
    saddr.sin_addr.s_addr = inet_addr("192.168.1.11");

    int res = connect(sockfd,(struct sockaddr*)&saddr,sizeof(saddr));
    assert(res!=-1);

    int fd1 = open("./a",O_RDONLY);
    int len = 1;
    while(len)
    {
        len = sendfile(sockfd,fd1,0,1024);
        if(len==0)
        {
            break;
        }
        printf("发出了%d个字节\n",len);
    }
    close(sockfd);
    return 0;

}
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/141966.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • mybatiscodehelperpro 2.9.6激活码【2021最新】「建议收藏」

    (mybatiscodehelperpro 2.9.6激活码)这是一篇idea技术相关文章,由全栈君为大家提供,主要知识点是关于2021JetBrains全家桶永久激活码的内容https://javaforall.net/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~1PA3AFINM4-eyJsaWNlb…

    2022年3月31日
    1.0K
  • eplan激活码破解步骤【2021.7最新】

    (eplan激活码破解步骤)最近有小伙伴私信我,问我这边有没有免费的intellijIdea的激活码,然后我将全栈君台教程分享给他了。激活成功之后他一直表示感谢,哈哈~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html…

    2022年3月22日
    1.6K
  • comparable java_java rectangle

    comparable java_java rectangle在JAVA中使用eXtremeDBautoid,主要有以下几个问题:定义插入数据已经获取记录,如何获得autoid知道autoid,如何获取记录定义autoid在类的定义前加入注释:@Persistent(autoid=true)注意,eXtremeDB中的autoid并不需要单独的定义出一列表示,只需要在类级别定义即可。插入数据正常的使用insert方法插入即可,无需关注autoid。如果需要…

    2022年10月14日
    2
  • Oracle创建本地数据库实例及配置「建议收藏」

    Oracle创建本地数据库实例及配置「建议收藏」        因为以前一直都是用的mysql的数据库,所以当新工作中用到Oracle数据库的时候,一时还有点不习惯,特别是一直连接的远程数据库,更是麻烦,所以就想在本地创建一个Oracle的数据库,然后导入数据库的备份文件方便使用。然而看似简单的东西,真正动起手来,却也还是花了好一会儿工夫也才解决。所以希望能够把安装的过程记录下来,不仅方便自己以后查阅,也能督促自己开始写博客(3年前就有这样的想…

    2022年5月31日
    133
  • Android11 无Root 访问data目录实现、Android11访问data目录、Android11解除data目录限制、Android11 data空白解决

    Android11 无Root 访问data目录实现、Android11访问data目录、Android11解除data目录限制、Android11 data空白解决Android11无Root访问data目录实现、Android11访问data目录、Android11解除data目录限制、Android11data空白解决、SAF文件访问框架

    2022年7月12日
    40
  • android一键换手机,不同品牌手机一键换机:换新手机怎么转移数据?「建议收藏」

    android一键换手机,不同品牌手机一键换机:换新手机怎么转移数据?「建议收藏」我们正处于一个数码产品更新换代非常快速的时代,很多消费者会紧跟时代潮流,经常更换新手机,但是更换手机之后我们通常需要将旧手机里的数据进行转移,不同品牌之间的手机怎么进行一键换机呢?以安卓手机更换苹果手机转移数据为例:1、首先我们需要在安卓手机上安装“转移到iOS”APP,通过该应用我们可以将安卓手机的数据转移到新的苹果手机上2、确保安卓设备处于WiFi状态3、将安卓设备以及苹果设备连接电源4、设置…

    2022年5月26日
    103

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号