从 Linux 源码看 Socket 的阻塞和非阻塞

转载自 从 Linux 源码看 Socket 的阻塞和非阻塞

笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码，是一件Exciting的事情。
大部分高性能网络框架采用的是非阻塞模式。笔者这次就从linux源码的角度来阐述socket阻塞(block)和非阻塞(non_block)的区别。 本文源码均来自采用Linux-2.6.24内核版本。

一个TCP非阻塞client端简单的例子

如果我们要产生一个非阻塞的socket,在C语言中如下代码所示:

// 创建socket
int sock_fd = socket(AF_INET, SOCK_STREAM, 0);
...
// 更改socket为nonblock
fcntl(sock_fd, F_SETFL, fdflags | O_NONBLOCK);
// connect
....
while(1)  {  int recvlen = recv(sock_fd, recvbuf, RECV_BUF_SIZE) ; ......
} 
...

由于网络协议非常复杂，内核里面用到了大量的面向对象的技巧，所以我们从创建连接开始，一步一步追述到最后代码的调用点。

socket的创建

很明显，内核的第一步应该是通过AF_INET、SOCK_STREAM以及最后一个参数0定位到需要创建一个TCP的socket,如下图绿线所示:

我们跟踪源码调用

socket(AF_INET, SOCK_STREAM, 0)|->sys_socket 进入系统调用|->sock_create|->__sock_create

进一步分析__sock_create的代码判断:

const struct net_proto_family *pf;
// RCU(Read-Copy Update)是linux的一种内核同步方法，在此不阐述
// family=INET
pf = rcu_dereference(net_families[family]);
err = pf->create(net, sock, protocol);

由于family是AF_INET协议，注意在操作系统里面定义了PF_INET等于AF_INET, 内核通过函数指针实现了对pf(net_proto_family)的重载。如下图所示:

则通过源码可知，由于是AF_INET(PF_INET),所以net_families[PF_INET].create=inet_create(以后我们都用PF_INET表示)，即
pf->create = inet_create; 进一步追溯调用:

inet_create(struct net *net, struct socket *sock, int protocol){Sock* sock;......// 此处是寻找对应协议处理器的过程
lookup_protocol:// 迭代寻找protocol==answer->protocol的情况list_for_each_rcu(p, &inetsw[sock->type]) answer = list_entry(p, struct inet_protosw, list);/* Check the non-wild match. */if (protocol == answer->protocol) {if (protocol != IPPROTO_IP)break;}......// 这边answer指的是SOCK_STREAMsock->ops = answer->ops;answer_no_check = answer->no_check;// 这边sk->prot就是answer_prot=>tcp_protsk = sk_alloc(net, PF_INET, GFP_KERNEL, answer_prot);sock_init_data(sock, sk);......
}

上面的代码就是在INET中寻找SOCK_STREAM的过程了 我们再看一下inetsw[SOCK_STREAM]的具体配置:

static struct inet_protosw inetsw_array[] =
{{.type =       SOCK_STREAM,.protocol =   IPPROTO_TCP,.prot =       &tcp_prot,.ops =        &inet_stream_ops,.capability = -1,.no_check =   0,.flags =      INET_PROTOSW_PERMANENT |INET_PROTOSW_ICSK,},......
}

这边也用了重载，AF_INET有TCP、UDP以及Raw三种:

从上述代码，我们可以清楚的发现sock->ops=&inet_stream_ops;

const struct proto_ops inet_stream_ops = {.family		   = PF_INET,.owner		   = THIS_MODULE,.......sendmsg	   = tcp_sendmsg,.recvmsg	   = sock_common_recvmsg,......
}

即sock->ops->recvmsg = sock_common_recvmsg;
同时sock->sk->sk_prot = tcp_prot;

我们再看下tcp_prot中的各个函数重载的定义:

struct proto tcp_prot = {.name			= "TCP",.close			= tcp_close,.connect		= tcp_v4_connect,.disconnect		= tcp_disconnect,.accept			= inet_csk_accept,......// 我们重点考察tcp的读.recvmsg		= tcp_recvmsg,......
}

fcntl控制socket的阻塞\非阻塞状态

我们用fcntl修改socket的阻塞\非阻塞状态。 事实上: fcntl的作用就是将O_NONBLOCK标志位存储在sock_fd对应的filp结构的f_lags里,如下图所示。

fcntl(sock_fd, F_SETFL, fdflags | O_NONBLOCK);|->setfl

追踪setfl代码:

static int setfl(int fd, struct file * filp, unsigned long arg) {......filp->f_flags = (arg & SETFL_MASK) | (filp->f_flags & ~SETFL_MASK);......
}

上图中，由sock_fd在task_struct(进程结构体)->files_struct->fd_array中找到对应的socket的file描述符，再修改file->flags

在调用socket.recv的时候

我们跟踪源码调用:

socket.recv|->sys_recv|->sys_recvfrom|->sock_recvmsg|->__sock_recvmsg|->sock->ops->recvmsg

由上文可知: sock->ops->recvmsg = sock_common_recvmsg;

sock

值得注意的是,在sock_recmsg中,有对标识O_NONBLOCK的处理

	if (sock->file->f_flags & O_NONBLOCK)flags |= MSG_DONTWAIT;

上述代码中sock关联的file中获取其f_flags,如果flags有O_NONBLOCK标识，那么就设置msg_flags为MSG_DONTWAIT(不等待)。
fcntl与socket就是通过其共同操作File结构关联起来的。

继续跟踪调用

sock_common_recvmsg

int sock_common_recvmsg(struct kiocb *iocb, struct socket *sock,struct msghdr *msg, size_t size, int flags) {......// 如果flags的MSG_DONTWAIT标识置位，则传给recvmsg的第5个参数为正,否则为0err = sk->sk_prot->recvmsg(iocb, sk, msg, size, flags & MSG_DONTWAIT,flags & ~MSG_DONTWAIT, &addr_len);.....				   
}

由上文可知: sk->sk_prot->recvmsg 其中sk_prot=tcp_prot,即最终调用的是tcp_prot->tcp_recvmsg,
上面的代码可以看出，如果fcntl(O_NONBLOCK)=>MSG_DONTWAIT置位=>(flags & MSG_DONTWAIT)>0, 再结合tcp_recvmsg的函数签名,即如果设置了O_NONBLOCK的话，设置给tcp_recvmsg的nonblock参数>0,关系如下图所示:

最终的调用逻辑tcp_recvmsg

首先我们看下tcp_recvmsg的函数签名:

int tcp_recvmsg(struct kiocb *iocb, struct sock *sk, struct msghdr *msg,size_t len, int nonblock, int flags, int *addr_len)

显然我们关注焦点在(int nonblock这个参数上):

int tcp_recvmsg(struct kiocb *iocb, struct sock *sk, struct msghdr *msg,size_t len, int nonblock, int flags, int *addr_len){......	// copied是指向用户空间拷贝了多少字节，即读了多少int copied;// target指的是期望多少字节int target;// 等效为timo = noblock ? 0 : sk->sk_rcvtimeo;timeo = sock_rcvtimeo(sk, nonblock);......	// 如果设置了MSG_WAITALL标识target=需要读的长度// 如果未设置，则为最低低水位值target = sock_rcvlowat(sk, flags & MSG_WAITALL, len);......do{// 表明读到数据if (copied) {// 注意，这边只要!timeo，即nonblock设置了就会跳出循环if (sk->sk_err ||sk->sk_state == TCP_CLOSE ||(sk->sk_shutdown & RCV_SHUTDOWN) ||!timeo ||signal_pending(current) ||(flags & MSG_PEEK))break;}else{// 到这里，表明没有读到任何数据// 且nonblock设置了导致timeo=0，则返回-EAGAIN,符合我们的预期if (!timeo) {copied = -EAGAIN;break;}// 这边如果堵到了期望的数据，继续，否则当前进程阻塞在sk_wait_data上if (copied >= target) {/* Do not sleep, just process backlog. */release_sock(sk);lock_sock(sk);} elsesk_wait_data(sk, &timeo);} while (len > 0);		......return copied
}

上面的逻辑归结起来就是：
(1)在设置了nonblock的时候，如果copied>0,则返回读了多少字节,如果copied=0，则返回-EAGAIN,提示应用重复调用。
(2)如果没有设置nonblock，如果读取的数据>=期望，则返回读取了多少字节。如果没有则用sk_wait_data将当前进程等待。
如下流程图所示:

阻塞函数sk_wait_data

sk_wait_data代码-函数为:

	// 将进程状态设置为可打断INTERRUPTIBLEprepare_to_wait(sk->sk_sleep, &wait, TASK_INTERRUPTIBLE);set_bit(SOCK_ASYNC_WAITDATA, &sk->sk_socket->flags);// 通过调用schedule_timeout让出CPU，然后进行睡眠rc = sk_wait_event(sk, timeo, !skb_queue_empty(&sk->sk_receive_queue));// 到这里的时候，有网络事件或超时事件唤醒了此进程，继续运行clear_bit(SOCK_ASYNC_WAITDATA, &sk->sk_socket->flags);finish_wait(sk->sk_sleep, &wait);

该函数调用schedule_timeout进入睡眠，其进一步调用了schedule函数，首先从运行队列删除，其次加入到等待队列，最后调用和体系结构相关的switch_to宏来完成进程间的切换。
如下图所示:

阻塞后什么时候恢复运行呢

情况1:有对应的网络数据到来

首先我们看下网络分组到来的内核路径，网卡发起中断后调用netif_rx将事件挂入CPU的等待队列，并唤起软中断(soft_irq)，再通过linux的软中断机制调用net_rx_action，如下图所示:

low_recv
注:上图来自PLKA(<<深入Linux内核架构>>)
紧接着跟踪next_rx_action

next_rx_action|-process_backlog......|->packet_type->func 在这里我们考虑ip_rcv|->ipprot->handler 在这里ipprot重载为tcp_protocol(handler 即为tcp_v4_rcv)

紧接着tcp_v4_rcv:

tcp_input.c
tcp_v4_rcv|-tcp_v4_do_rcv|-tcp_rcv_state_process|-tcp_data_queue|-sk->sk_data_ready=sock_def_readable|-wake_up_interruptible|-__wake_up|-__wake_up_common

在这里__wake_up_common将停在当前wait_queue_head_t中的进程唤醒，即状态改为task_running，等待CFS调度以进行下一步的动作,如下图所示。

情况2:设定的超时时间到来

在前面调用sk_wait_event中调用了schedule_timeout

fastcall signed long __sched schedule_timeout(signed long timeout) {......// 设定超时的回掉函数为process_timeoutsetup_timer(&timer, process_timeout, (unsigned long)current);__mod_timer(&timer, expire);// 这边让出CPUschedule();del_singleshot_timer_sync(&timer);timeout = expire - jiffies;out:// 返回经过了多长事件return timeout < 0 ? 0 : timeout;	
}

process_timeout函数即是将此进程重新唤醒

static void process_timeout(unsigned long __data)
{wake_up_process((struct task_struct *)__data);
}

总结

linux内核源代码博大精深，阅读其代码很费周折。希望笔者这篇文章能帮助到阅读linux网络协议栈代码的人。


本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/331094.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

pojo和javabean的区别

pojo和javabean的区别

【0】README 1&#xff09;本文转自&#xff1a; http://wenku.baidu.com/view/eba89bbcf121dd36a32d828a.html 【1】正文如下&#xff1a; POJO 和JavaBean是我们常见的两个关键字&#xff0c;一般容易混淆&#xff0c;POJO全称是Plain Ordinary Java Object / Pure Old Jav…
阅读更多...
使用poi调整字体格式、添加单元格注释、自动调整列宽

使用poi调整字体格式、添加单元格注释、自动调整列宽

1 创建新的工作铺 import java.io.FileOutputStream;import org.apache.poi.hssf.usermodel.HSSFCell; import org.apache.poi.hssf.usermodel.HSSFCellStyle; import org.apache.poi.hssf.usermodel.HSSFFont; import org.apache.poi.hssf.usermodel.HSSFRow; import org.apa…
阅读更多...
MySQL 的索引是什么？怎么优化？

MySQL 的索引是什么？怎么优化？

转载自 MySQL 的索引是什么&#xff1f;怎么优化&#xff1f; 摘要: 索引对大数据的查询速度的提升是非常大的&#xff0c;Explain可以帮你分析SQL语句是否用到相关索引。 索引类似大学图书馆建书目索引&#xff0c;可以提高数据检索的效率&#xff0c;降低数据库的IO成本。My…
阅读更多...
maven(5)坐标和依赖

maven(5)坐标和依赖

【0】README1&#xff09;本文部分文字转自 “maven实战”&#xff0c;旨在 review “maven(5)坐标和依赖” 的相关知识&#xff1b;【2】坐标详解 1&#xff09;intro&#xff1a;坐标用于定位 类库&#xff0c;而一组maven 坐标通过一些元素来进行定义的&#xff1a;groupId…
阅读更多...
poi中文api文档

poi中文api文档

POI中文API文档 一、 POI简介 Apache POI是Apache软件基金会的开放源码函式库&#xff0c;POI提供API给Java程序对Microsoft Office格式档案读和写的功能。二、 HSSF概况 HSSF 是Horrible SpreadSheet Format的缩写&#xff0c;通过HSSF&#xff0c;你可以用纯Java代码来读取、…
阅读更多...
聊聊MyBatis缓存机制

聊聊MyBatis缓存机制

转载自 聊聊MyBatis缓存机制前言MyBatis是常见的Java数据库访问层框架。在日常工作中&#xff0c;开发人员多数情况下是使用MyBatis的默认缓存配置&#xff0c;但是MyBatis缓存机制有一些不足之处&#xff0c;在使用中容易引起脏数据&#xff0c;形成一些潜在的隐患。个人在业务…
阅读更多...
maven(6)仓库

maven(6)仓库

【0】README1&#xff09;本文部分文字转自 “maven实战”&#xff0c;旨在 review “maven(6)仓库” 的相关知识&#xff1b; 【1】何为 Maven仓库1&#xff09;intro to 构件&#xff1a;在maven中&#xff0c;任何一个依赖&#xff0c;插件或者项目构建的输出&#xff0c;都…
阅读更多...
防止用户重复提交表单数据，session方式，js方式

防止用户重复提交表单数据，session方式，js方式

1. 使用session的方式创建Token令牌解决 创建一个生成令牌的工具类&#xff0c;在该类中有返回类的对象&#xff0c;生成token的方法public class TokenUtil {/**单例设计模式&#xff08;保证类的对象在内存中只有一个&#xff09;*1、把类的构造函数私有*2、自己创建一个类的…
阅读更多...
mybatis_user_guide(3)XML配置

mybatis_user_guide(3)XML配置

【-1】README1&#xff09;本文全文总结于 http://www.mybatis.org/mybatis-3/zh/configuration.html#environments【0】MyBatis 的配置文件包含了影响 MyBatis 行为甚深的设置&#xff08;settings&#xff09;和属性&#xff08;properties&#xff09;信息。文档的顶层结构如…
阅读更多...
easyUI 运用窗口和form表单制作导出功能

easyUI 运用窗口和form表单制作导出功能

这里运用到easyUI的窗口模式和form表单的提交制作一个有条件的导出excel数据统计的功能&#xff0c;主要是知道了怎么运用easyUI的窗口和表单 jsp中&#xff1a;<!-- 导出数据来源条件窗口 --><div id"exportSign" ><form id"condition" me…
阅读更多...
分布式一致性算法：可能比你想象得更复杂

分布式一致性算法：可能比你想象得更复杂

转载自 分布式一致性算法&#xff1a;可能比你想象得更复杂分布式系统的难题张大胖遇到了一个难题。他们公司的有个服务器&#xff0c;上面保存着宝贵的数据&#xff0c;领导Bill 为了防止它挂掉&#xff0c; 要求张大胖想想办法把数据做备份。张大胖发挥了抽象的能力&#xff…
阅读更多...
mybatis_user_guide(4) Mapper XML 文件

mybatis_user_guide(4) Mapper XML 文件

【-1】README 1&#xff09;本文全文总结于 http://www.mybatis.org/mybatis-3/zh/sqlmap-xml.html【0】SQL 映射文件有很少的几个顶级元素&#xff08;按照它们应该被定义的顺序&#xff09;&#xff1a; cache – 给定命名空间的缓存配置。cache-ref – 其他命名空间缓存配置…
阅读更多...
Hibernate关联关系配置(一对多、一对一和多对多)

Hibernate关联关系配置(一对多、一对一和多对多)

第一种关联关系&#xff1a;一对多&#xff08;多对一&#xff09; “一对多”是最普遍的映射关系&#xff0c;简单来讲就如消费者与订单的关系。 一对多&#xff1a;从消费者角的度来说一个消费者可以有多个订单&#xff0c;即为一对多。 多对一&#xff1a;从订单的角度来…
阅读更多...
3分钟了解“关联规则”推荐

3分钟了解“关联规则”推荐

转载自 3分钟了解“关联规则”推荐 “把啤酒放在尿布旁&#xff0c;有助于提升啤酒销售量”是关联规则推荐的经典案例&#xff0c;今天&#xff0c;和大家聊聊“关联规则推荐”&#xff0c;正文不含任何公式&#xff0c;保证PM弄懂。一、概念 什么是关联规则&#xff08;Associ…
阅读更多...
mybatis_user_guide(5) 动态 SQL

mybatis_user_guide(5) 动态 SQL

【-1】README 1&#xff09;本文全文总结于 http://www.mybatis.org/mybatis-3/zh/dynamic-sql.html 【0】动态 SQL 元素和使用 JSTL 或其他类似基于 XML 的文本处理器相似。在 MyBatis 之前的版本中,有很多的元素需要来了解。MyBatis 3 大大提升了它们,现在用不到原先一半的元…
阅读更多...
sqlserver还原差异备份

sqlserver还原差异备份

因为之前遇到还原差异备份&#xff0c;最开始遇到SQLServer报错&#xff1a;”无法还原日志备份或差异备份&#xff0c;因为没有文件可用于前滚“。查阅很多资料后&#xff0c;终于得到解决。收集整理成这篇随笔。　　 问题原因&#xff1a;出现这种错误绝大多数是因为还原完整…
阅读更多...
1分钟了解相似性推荐

1分钟了解相似性推荐

转载自 1分钟了解相似性推荐前几天聊的“协同过滤&#xff08;Collaborative Filtering&#xff09;”和“基于内容的推荐&#xff08;Content-based Recommendation&#xff09;”&#xff0c;都必须分析用户的历史行为数据&#xff08;例如电影点击数据&#xff0c;职位查看数…
阅读更多...
mybatis_user_guide(6) Java API

mybatis_user_guide(6) Java API

【0】README1&#xff09;本文全文总结于 http://www.mybatis.org/mybatis-3/zh/java-api.html【1】SqlSessions1)intro&#xff1a;　我们知道&#xff0c; SqlSessionFactoryBuilder 创建 SqlSessionFactory &#xff0c; SqlSessionFactory 创建 SqlSession&#xff0c;然后…
阅读更多...
hibernate左连接查询时在easyUI的dataGrid中有些行取值为空的解决办法

hibernate左连接查询时在easyUI的dataGrid中有些行取值为空的解决办法

1 当使用left join左连连接&#xff0c;sql语句为 select t from SecondPage t left join t.rightNavbar n where 11 页面中出现了部分空行的情况&#xff0c;上述语句返回的list集合为 DataGrid dataGrid new DataGrid(); List<SecondPage> listsecondPageDao.find(…
阅读更多...
1分钟了解基于内容的推荐，pm又懂了

1分钟了解基于内容的推荐，pm又懂了

转载自 1分钟了解基于内容的推荐&#xff0c;pm又懂了什么是基于内容的推荐&#xff08;Content-based Recommendation&#xff09;&#xff1f; 答&#xff1a;通过用户历史感兴趣的信息&#xff0c;抽象信息内容共性&#xff0c;根据内容共性推荐其他信息。比如&#xff0c;如…
阅读更多...
最新文章

Copyright @ 2022~2023