故障情况:用户反映网站502错误
网站架构: 前端代理 -后端web+数据库
第一:首先定位了服务器故障,ssh上去(负荷160+)
第二:top查看了进程了,全是httpd(数量很多,正常下httpd进程是很少的)
直接重启了apahce,缓解了一下负荷,以便更好的操作服务器
第三:分析了apahce 日志
tail -f 10 一直刷新,某个域名特别duo
第四:使用grep 将该域名的日志读取出来,和整体日志对比
该域名的日志占用整个日志的比例达到80%,异常
访问网站发现论坛被大量写入垃圾信息
关闭网站,负荷下降到1以下,服务器正常。(到这里故障已经处理完毕,但是在我的工作环境,这个网站可以暂停,在其他工作环境不是随便可以暂停的,所以继续)
第五: 使用awk 将ip读取出来
第六:使用sort排序
第七:使用uniq 去重,
看到有几个ip 大量连接,
第八:一般的工作环境就是使用iptable 屏蔽或者网站本身的限制了。
到此,工作结束。
网站架构: 前端代理 -后端web+数据库
第一:首先定位了服务器故障,ssh上去(负荷160+)
第二:top查看了进程了,全是httpd(数量很多,正常下httpd进程是很少的)
直接重启了apahce,缓解了一下负荷,以便更好的操作服务器
第三:分析了apahce 日志
tail -f 10 一直刷新,某个域名特别duo
第四:使用grep 将该域名的日志读取出来,和整体日志对比
该域名的日志占用整个日志的比例达到80%,异常
访问网站发现论坛被大量写入垃圾信息
关闭网站,负荷下降到1以下,服务器正常。(到这里故障已经处理完毕,但是在我的工作环境,这个网站可以暂停,在其他工作环境不是随便可以暂停的,所以继续)
第五: 使用awk 将ip读取出来
第六:使用sort排序
第七:使用uniq 去重,
看到有几个ip 大量连接,
第八:一般的工作环境就是使用iptable 屏蔽或者网站本身的限制了。
到此,工作结束。
编辑回复