二个星期的排障

回复 收藏

1:项目运行了一年,没出什么问题,突然来了一波499(nginx日志记录),一下就被搞蒙圈了

2:然后就开始排查,看各种日志排查,硬件没压力,各种日志没有什么有效信息.开始各种调nginx配置,php配置,内核配置,用一句话概况就是 ,服务器都快调烂了。然后就好了。。。。。

3:第二天,下午4点,又开始崩,实在是使劲全部力气都搞不定了,然后求助铭哥,帮忙看看,铭哥帮我看了下,分析是DB的问题,因为是买的阿里云的数据库,我看不到状态,所以我去问总监,总监说只有使用不到10%,我也就没多考虑DB的问题,继续回到服务器上各种调试,然后就是各种好了。。。又坏。。。反正来来回回。。。搞了好几天。

4:最后实在是没招了,做负载,做完2台负载一下就好了,安安稳稳的运行了3天左右的样子,我擦,到下午4点,又翻车,不管了继续加负载,结果没好,然后又是各种参数调试,都没有用,差不多到9点样子,服务器又好了。

5:第二天下午4点左右又开始崩,我擦捏,真的是想死了,然后各种调试,到9点差不多,又好了,我都怀疑服务器被攻击了,分析应该不可能,因为硬件压力都不高。

6:然后就到了昨天上午10点,就开始崩了,我擦,反正我是没招了,总监亲自来,然后各种分析,应该是在DB上,就查看DB的慢日志,根据DB的报告,然后把开发喊过来一起排查,让后在服务器上开启debug模式各种看代码输出,发现一些SQL语句错误,更改后,一下就好了,这下大家以为都没问题了,开开心心去吃午饭,结果,尼玛没过2个小时,又一波499过来,真的想死了。

7:然后还是看DB,分析代码,最终发现,就是thinkphp框架里面的session时间设置的过长,晚上8点30,算是完美解决。

2017-12-15 11:39 举报
已邀请:
0

阿铭 管理员

赞同来自:

真是揪心啊。

回复帖子,请先登录注册

退出全屏模式 全屏模式 回复
评分
可选评分理由: