postgresql – pgBouncer工作得很好但偶尔会变得不可用

我在忙碌的postgres 9数据库前运行pgBouncer.
在大多数情况下,它工作正常.但每隔几个小时我就会从我的应用程序收到一封错误邮件,但psycopg2除外：

OperationalError(‘无法连接到服务器：无法分配请求的地址
服务器是否在主机“neo-hulk”上运行并接受
端口6432上的TCP / IP连接？’)

这是一个 python应用程序,有一群芹菜工人正在运行任务.当这些错误到达时,我检查pgbouncer db并且池大小在限制范围内.
经过一些实验,我将池最大大小设置为400,池大小设置为200.池模式是“会话”(请求主要是自动提交,几乎没有事务).

是什么让pgBouncer’消失’那样？它只是在短时间内(总的来说,我们谈论的是少量的请求,而不是它处理的大量请求),但那些失败的请求很重要.

谢谢！

解决方法:

错误消息中的“无法分配请求的地址”部分来自内核TCP堆栈.间歇性地遇到这种情况时,这通常意味着可用套接字的空间已耗尽,因为处于等待状态的套接字过多(TIME_WAIT,或者更少可能是FIN_WAIT_1或FIN_WAIT_2)

套接字端口的范围可以通过cat / proc / sys / net / ipv4 / ip_local_port_range输出.库存Linux内核上的默认值通常为32768 61000.

您可以在系统繁忙时检查客户端和pgBouncer主机上netstat -ton | grep WAIT的结果. -o标志将显示超时
与等待状态相关的计数器.

如果TCP套接字的总数接近61000-32768 = 28232,则此范围的耗尽可能是您的问题.由于在正常情况下,关闭的套接字在TIME_WAIT状态下花费60秒,如果客户端主机在一分钟内连接超过28232次,则新连接将因上述错误而失败,直到释放端口为止.

作为第一种解决方法,可以扩展TCP端口范围：

 # echo "1025 65535" >/proc/sys/net/ipv4/ip_local_port_range

如果不满意,请检查tcp_tw_recycle和tcp_tw_reuse标志,也可以通过/ proc / sys / net / ipv4和sysctl进行调整.

它们被定义为(来自man tcp)：

       tcp_tw_recycle (Boolean; default: disabled; since Linux 2.4)
              Enable  fast  recycling  of  TIME_WAIT  sockets.   Enabling this
              option is not recommended since this causes problems when  work‐
              ing with NAT (Network Address Translation).

       tcp_tw_reuse (Boolean; default: disabled; since Linux 2.4.19/2.6)
              Allow  to reuse TIME_WAIT sockets for new connections when it is
              safe from protocol viewpoint.  It should not be changed  without
              advice/request of technical experts.

我个人用tcp_tw_recycle在使用MysqL客户端应用程序遇到这个问题时取得了成功,但是不要把它作为推荐,我对TCP的理解充其量是肤浅的.

postgresql – pgBouncer工作得很好但偶尔会变得不可用

相关推荐