Resin服务器出现大量的ESTABLISHED和TIME_WAIT连接造成响应缓慢

  • 2017-06-30
  • 0
  • 0

Resin服务的端口为8080,执行 lsof -i :8080 命令出现大量的ESTABLISHED连接:

然后执行netstat -n | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}' 命令发现存在大量状态为TIME_WAIT的连接:

简单来说,ESTABLISHED表示正在进行网络连接的数量,TIME_WAIT表示表示等待系统主动关闭网络连接的数量,CLOSE_WAIT表示被动等待程序关闭的网络连接数量,因此TIME_WAIT跟服务器的配置有关,而CLOSE_WAIT跟程序进行网络连接有关了,通常是程序没有主动关闭网络连接所致。

上图中显然TIME_WAIT的数量太多了,需要对服务器进行配置。对 /etc/sysctl.conf 文件做如下设置(包含每个配置项的说明):

  1. #对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃,不应该大于255,默认值是5,对应于180秒左右时间   
  2. net.ipv4.tcp_syn_retries=2 
  3. #net.ipv4.tcp_synack_retries=2 
  4. #表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为300秒 
  5. net.ipv4.tcp_keepalive_time=1200 
  6. net.ipv4.tcp_orphan_retries=3 
  7. #表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间 
  8. net.ipv4.tcp_fin_timeout=30   
  9. #表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。 
  10. net.ipv4.tcp_max_syn_backlog = 4096 
  11. #表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭 
  12. net.ipv4.tcp_syncookies = 1 
  13.  
  14. #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭 
  15. net.ipv4.tcp_tw_reuse = 1 
  16. #表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭
  17. net.ipv4.tcp_tw_recycle = 1 
  18.  
  19. ##减少超时前的探测次数   
  20. net.ipv4.tcp_keepalive_probes=5   
  21. ##优化网络设备接收队列   
  22. net.core.netdev_max_backlog=3000

修改保存之后执行 /sbin/sysctl -p让参数生效即可。这里需要说明几点:
(1) net.ipv4.tcp_tw_reuse和net.ipv4.tcp_tw_recycle的开启都是为了回收处于TIME_WAIT状态的资源,net.ipv4.tcp_fin_timeout这个时间可以减少在异常情况下服务器从FIN-WAIT-2转到TIME_WAIT的时间,net.ipv4.tcp_keepalive_*一系列参数,是用来设置服务器检测连接存活的相关配置。
(2) 如果客户端访问是NAT网络,不要开启net.ipv4.tcp_tw_recycle或者在服务端关闭time stamp (echo 0 /proc/sys/net/ipv4/tcp_timestamps),参考这篇文章:不要在linux上启用net.ipv4.tcp_tw_recycle参数【经验总结】tcp_tw_recycle参数引发的故障
(3) Windows服务器的解决方法请参考这篇文字:在 Windows 上遇到非常多 TIME_WAIT 連線時應如何處理

另外如果出现大量的CLOSE_WAIT说明程序在进行网络连接的时候没有主动关闭连接,比如使用HttpClient调用网络连接的时候,当出现错误的时候没有调用abort()方法,或者网络连接结束之后没有调用close方法等等,具体在源代码中进行排查即可。

参考资料:
再谈应用环境下的TIME_WAIT和CLOSE_WAIT
【经验总结】tcp_tw_recycle参数引发的故障
不要在linux上启用net.ipv4.tcp_tw_recycle参数
Tcp 连接出现大量ESTABLISHED连接
HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查
httpClient connection not closing
resin 调优

评论

还没有任何评论,你来说两句吧