登陆

忘记密码

shell编程之告警系统

回复 收藏
本帖最后由 杭州小白 于 2015-12-16 17:11 编辑
本文转自铭哥的帖子http://www.apelearn.com/bbs/thread-8106-1-1.html
本人附注对本shell告警系统的认识。
需求： 使用shell定制各种个性化告警工具，但需要统一化管理、规范化管理。

思路：指定一个脚本包，包含主程序、子程序、配置文件、邮件引擎、输出日志等。
主程序：作为整个脚本的入口，是整个系统的命脉。
配置文件：是一个控制中心，用它来开关各个子程序，指定各个相关联的日志文件。
子程序：这个才是真正的监控脚本，用来监控各个指标。
邮件引擎：是由一个php程序来实现，它可以定义发邮件的服务器、发邮件人以及收邮件人。
输出日志：整个监控系统要有日志输出。

要求：我们的机器角色多种多样，但是所有机器上都要部署同样的监控系统，也就说所有机器不管什么角色，整个程序框架都是一致的，不同的地方在于根据不同的角色，定制不同的配置文件。

程序架构：   

                                         （主目录 mon）
                 ____________________|_______________________________
                |              |                    |                       |                             |
               bin          conf            shares                  mail                         log
                |              |                    |                       |                             |
           [main.sh] [ mon.conf] [load.sh 502.sh]  [mail.php mail.sh] [  mon.log  err.log ]

bin下是主程序
conf下是配置文件
shares下是各个监控脚本
mail下是邮件引擎
log下是日志。
1. main.sh
  1. #!/bin/bash
  2. #Written by aming.
  4. # 是否发送邮件的开关
  5. export send=1     //对send进行环境变量赋值：1为开，0为关。如果关闭则邮件不会发送，当你已经知道并着手时可以将此设置为0
  6. # 过滤ip地址
  7. export addr=`/sbin/ifconfig |grep -A1 'eth0' |grep addr: |awk '{print $2}'|awk -F: '{print $2}'`      //对addr进行环境变量赋值：addr=本机IP
  8. dir=`pwd`        //dir为当前目录路径
  9. # 只需要最后一级目录名
  10. last_dir=`echo $dir|awk -F'/' '{print $NF}'`  //awk出最后一段内容即当前目录
  12. # 下面的判断目的是，保证执行脚本的时候，我们在bin目录里，不然监控脚本、邮件和日志很有可能找不（但是我觉得这里有bug，万一main.sh的bin目录是在其它路径下呢）
  13. if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
  14.     conf_file="../conf/mon.conf"    //如果目录存在则进行变量赋值（这里我们需要将各个配置和脚本放在指定的目录下
  15. else
  16.     echo "you shoud cd bin dir //如果目录不对则在窗口打印出提示，退出主程
  17.     exit
  18. fi
  19. #目录正确条件下
  20. exec 1>>../log/mon.log 2>>../log/err.log //标准输出追加重定向到mon.log；错误追加到err.lo
  22. echo "`date +"%F %T"` load average"  //打印出 时间 ，执行load.sh脚
  23. /bin/bash ../shares/load.sh
  25. #先检查配置文件中是否需要监控502
  26. if grep -q 'to_mon_502=1' $conf_file; then  //grep -q 只作为判断条件，若1则对log进行环境变量赋值，即mon.conf中的/data/log/xxx.xxx.com/access.log，执行502.sh脚本
  27.     export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
  28.     /bin/bash  ../shares/502.sh
  29. fi

主程序只添加了502监控，根据需求我们可以在mon.conf和main.sh中按模板添加监控项目。但是需要将整个告警系统copy过去，保证系统的完整性。
2.  配置文件   mon.conf
  1. ## to config the options if to monitor
  3. ## cdb  主要定义mysql的服务器地址、端口以及user、password
  4. to_mon_cdb=0   ##0 or 1, default 0,0 not monitor, 1 monitor
  5. cdb_ip=10.20.3.13
  6. cdb_port=3315
  7. cdb_user=username
  8. cdb_pass=passwd
  10. ## httpd   如果是1则监控，为0不监控
  11. to_mon_httpd=0
  13. ## php 如果是1则监控，为0不监控
  14. to_mon_php_socket=0
  16. ## http_code_502  需要定义访问日志的路径
  17. to_mon_502=1
  18. logfile=/data/log/xxx.xxx.com/access.log
  20. ## request_count   定义日志路径以及域名
  21. to_mon_request_count=0
  22. req_log=/data/log/www.discuz.net/access.log
  23. domainname=www.discuz.net
mon.conf配置文件还是很好理解的。
3. load.sh
  1. #! /bin/bash
  3. ##Writen by aming##
  5. load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`   //load是1分钟负载的整数部分数值
  6. if [ $load -gt 20 ] && [ $send -eq "1" ]   //如果负载大于20（具体看自己系统硬件条件）且开启发送邮件则将“时间+负载”重定向到load.tmp，执行发送邮件脚本“$1 $2” $3，“$1 $2”是主题，$3是内容，跟mail.sh格式相同
  7.     echo "$addr `date +%T` load is $load" >../log/load.tmp
  8.     /bin/bash ../mail/mail.sh $addr\_load $load ../log/load.tmp
  9. fi
  10. echo "`date +%T` load is $load"    //打印“时间+负载”

4. 502.sh
  1. #! /bin/bash
  2. d=`date -d "-1 min" +%H:%M`     //将一分钟前的时间赋值给d
  3. c_502=`grep :$d:  $log  |grep ' 502 '|wc -l`   //过滤统计/data/log/xxx.xxx.com/access.log中502的次数
  4. if [ $c_502 -gt 10 ] && [ $send == 1 ]; then       //如果一分钟前日志中502的次数超过10次，且邮件开，则将“IP+时间+502次数”重定向到502.tmp，发送邮件
  5.      echo "$addr $d 502 count is $c_502">../log/502.tmp
  6.      /bin/bash ../mail/mail.sh $addr\_502 $c_502  ../log/502.tmp
  7. fi
  8. echo "`date +%T` 502 $c_502"    //打印“时间+502次数”

*扩展disk.sh
  1. #! /bin/bash
  3. ##Writen by aming##
  5. rm -f ../log/disk.tmp
  6. for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`   //过滤出磁盘Use的三个数据
  7. do
  8.     if [ $r -gt 90 ] && [ $send -eq "1" ]      //如果有数据大于90，且邮件开，则将“时间+Use值追加重定向到disk.tmp（遗憾的是不清楚是哪个盘Use大于90）
  9. then
  10.     echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp
  11. fi
  13. if [ -f ../log/disk.tmp ]
  14. then
  15.     df -h >> ../log/disk.tmp
  16.     /bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
  17.     echo "`date +%T` disk useage is nook"
  18. else
  19.     echo "`date +%T` disk useage is ok"
  20. fi

5. mail.php
  1. <?php
  2. class Smtp
  3. {
  4.     /* Public Variables */
  5.     var $smtp_port;
  6.     var $time_out;
  7.     var $host_name;
  8.     var $log_file;
  9.     var $relay_host;
  10.     var $debug;
  11.     var $auth;
  12.     var $user;
  13.     var $pass;
  14.     /* Private Variables */
  15.     var $sock;
  16.     /* Constractor */
  17.     function Smtp($relay_host = "", $smtp_port = 25,$auth = false,$user,$pass)
  18.     {
  19.         $this->debug = FALSE;
  20.         $this->smtp_port = $smtp_port;
  21.         $this->relay_host = $relay_host;
  22.         $this->time_out = 30; //is used in fsockopen()
  23.         #
  24.         $this->auth = $auth;//auth
  25.         $this->user = $user;
  26.         $this->pass = $pass;
  27.         #
  28.         $this->host_name = "localhost"; //is used in HELO command
  29.         $this->log_file = "";
  30.         $this->sock = FALSE;
  31.     }
  32.     /* Main Function */
  33.     function sendmail($to, $from, $subject = "", $body = "", $mailtype, $cc = "", $bcc = "", $additional_headers = "")
  34.     {
  35.         $mail_from = $this->get_address($this->strip_comment($from));
  36.         $body = ereg_replace("(^|(\r\n))(\.)", "\1.\3", $body);
  37.         $header = "MIME-Version:1.0\r\n";
  38.         if($mailtype=="HTML"){
  39.             $header .= "Content-Type:text/html\r\n";
  40.         }
  41.         $header .= "To: ".$to."\r\n";
  42.         if ($cc != "") {
  43.             $header .= "Cc: ".$cc."\r\n";
  44.         }
  45.         $header .= "From: $from<".$from.">\r\n";
  46.         $header .= "Subject: ".$subject."\r\n";
  47.         $header .= $additional_headers;
  48.         $header .= "Date: ".date("r")."\r\n";
  49.         $header .= "X-Mailer:By Redhat (PHP/".phpversion().")\r\n";
  50.         list($msec, $sec) = explode(" ", microtime());
  51.         $header .= "Message-ID: <".date("YmdHis", $sec).".".($msec*1000000).".".$mail_from.">\r\n";
  52.         $TO = explode(",", $this->strip_comment($to));
  53.         if ($cc != "") {
  54.             $TO = array_merge($TO, explode(",", $this->strip_comment($cc)));
  55.         }
  57.         if ($bcc != "") {
  58.             $TO = array_merge($TO, explode(",", $this->strip_comment($bcc)));
  59.         }
  60.         $sent = TRUE;
  61.         foreach ($TO as $rcpt_to) {
  62.             $rcpt_to = $this->get_address($rcpt_to);
  64.             if (!$this->smtp_sockopen($rcpt_to)) {
  65.                 $this->log_write("Error: Cannot send email to ".$rcpt_to."\n");
  66.                 $sent = FALSE;
  67.                 continue;
  68.             }
  69.             if ($this->smtp_send($this->host_name, $mail_from, $rcpt_to, $header, $body)) {
  70.                 $this->log_write("E-mail has been sent to <".$rcpt_to.">\n");
  71.             } else {
  72.                 $this->log_write("Error: Cannot send email to <".$rcpt_to.">\n");
  73.                 $sent = FALSE;
  74.             }
  75.             fclose($this->sock);
  76.             $this->log_write("Disconnected from remote host\n");
  77.         }
  78.         return $sent;
  79.     }
  80. /* Private Functions */
  81.    function smtp_send($helo, $from, $to, $header, $body = "")
  82.     {
  83.         if (!$this->smtp_putcmd("HELO", $helo)) {
  84.             return $this->smtp_error("sending HELO command");
  85.         }
  86.         #auth
  87.         if($this->auth){
  88.             if (!$this->smtp_putcmd("AUTH LOGIN", base64_encode($this->user))) {
  89.                 return $this->smtp_error("sending HELO command");
  90.             }
  91.             if (!$this->smtp_putcmd("", base64_encode($this->pass))) {
  92.                 return $this->smtp_error("sending HELO command");
  93.             }
  94.         }
  95.         #
  96.         if (!$this->smtp_putcmd("MAIL", "FROM:<".$from.">")) {
  97.             return $this->smtp_error("sending MAIL FROM command");
  98.         }
  99.         if (!$this->smtp_putcmd("RCPT", "TO:<".$to.">")) {
  100.             return $this->smtp_error("sending RCPT TO command");
  101.         }
  102.         if (!$this->smtp_putcmd("DATA")) {
  103.             return $this->smtp_error("sending DATA command");
  104.         }
  105.         if (!$this->smtp_message($header, $body)) {
  106.             return $this->smtp_error("sending message");
  107.         }
  108.         if (!$this->smtp_eom()) {
  109.             return $this->smtp_error("sending . [EOM]");
  110.         }
  111.         if (!$this->smtp_putcmd("QUIT")) {
  112.             return $this->smtp_error("sending QUIT command");
  113.         }
  114.         return TRUE;
  115.     }
  117.     function smtp_sockopen($address)
  118.     {
  119.         if ($this->relay_host == "") {
  120.             return $this->smtp_sockopen_mx($address);
  121.         } else {
  122.             return $this->smtp_sockopen_relay();
  123.         }
  124.     }
  125.     function smtp_sockopen_relay()
  126.     {
  127.         $this->log_write("Trying to ".$this->relay_host.":".$this->smtp_port."\n");
  128.         $this->sock = @fsockopen($this->relay_host, $this->smtp_port, $errno, $errstr, $this->time_out);
  129.         if (!($this->sock && $this->smtp_ok())) {
  130.             $this->log_write("Error: Cannot connenct to relay host ".$this->relay_host."\n");
  131.             $this->log_write("Error: ".$errstr." (".$errno.")\n");
  132.             return FALSE;
  133.         }
  134.         $this->log_write("Connected to relay host ".$this->relay_host."\n");
  135.         return TRUE;
  136.     }
  137.     function smtp_sockopen_mx($address)
  138.     {
  139.         $domain = ereg_replace("^.+@([^@]+)[        DISCUZ_CODE_5        ]quot;, "\1", $address);
  140.         if (!@getmxrr($domain, $MXHOSTS)) {
  141.             $this->log_write("Error: Cannot resolve MX \"".$domain."\"\n");
  142.             return FALSE;
  143.         }
  144.         foreach ($MXHOSTS as $host) {
  145.             $this->log_write("Trying to ".$host.":".$this->smtp_port."\n");
  146.            $this->sock = @fsockopen($host, $this->smtp_port, $errno, $errstr, $this->time_out);
  147.             if (!($this->sock && $this->smtp_ok())) {
  148.                 $this->log_write("Warning: Cannot connect to mx host ".$host."\n");
  149.                 $this->log_write("Error: ".$errstr." (".$errno.")\n");
  150.                continue;
  151.             }
  152.             $this->log_write("Connected to mx host ".$host."\n");
  153.             return TRUE;
  154.         }
  155.         $this->log_write("Error: Cannot connect to any mx hosts (".implode(", ", $MXHOSTS).")\n");
  156.        return FALSE;
  157.     }
  158.     function smtp_message($header, $body)
  159.     {
  160.       fputs($this->sock, $header."\r\n".$body);
  161.         $this->smtp_debug("> ".str_replace("\r\n", "\n"."> ", $header."\n> ".$body."\n> "));
  162.         return TRUE;
  163.     }
  164.     function smtp_eom()
  165.    {
  166.         fputs($this->sock, "\r\n.\r\n");
  167.         $this->smtp_debug(". [EOM]\n");
  168.         return $this->smtp_ok();
  169.     }
  170.     function smtp_ok()
  171.    {
  172.         $response = str_replace("\r\n", "", fgets($this->sock, 512));
  173.         $this->smtp_debug($response."\n");
  174.         if (!ereg("^[23]", $response)) {
  175.             fputs($this->sock, "QUIT\r\n");
  176.             fgets($this->sock, 512);
  177.             $this->log_write("Error: Remote host returned \"".$response."\"\n");
  178.             return FALSE;
  179.         }
  180.         return TRUE;
  181.     }
  182.     function smtp_putcmd($cmd, $arg = "")
  183.     {
  184.         if ($arg != "") {
  185.            if($cmd=="") $cmd = $arg;
  186.             else $cmd = $cmd." ".$arg;
  187.         }
  188.         fputs($this->sock, $cmd."\r\n");
  189.         $this->smtp_debug("> ".$cmd."\n");
  190.         return $this->smtp_ok();
  191.     }
  192.     function smtp_error($string)
  193.     {
  194.         $this->log_write("Error: Error occurred while ".$string.".\n");
  195.         return FALSE;
  196.     }
  197.     function log_write($message)
  198.     {
  199.         $this->smtp_debug($message);
  200.         if ($this->log_file == "") {
  201.                 return TRUE;
  202.         }
  203.         $message = date("M d H:i:s ").get_current_user()."[".getmypid()."]: ".$message;
  204.         if (!@file_exists($this->log_file) || !($fp = @fopen($this->log_file, "a"))) {
  205.             $this->smtp_debug("Warning: Cannot open log file \"".$this->log_file."\"\n");
  206.             return FALSE;;
  207.         }
  208.         flock($fp, LOCK_EX);
  209.         fputs($fp, $message);
  210.         fclose($fp);
  211.         return TRUE;
  212.     }
  213.     function strip_comment($address)
  214.    {
  215.         $comment = "\([^()]*\)";
  216.        while (ereg($comment, $address)) {
  217.             $address = ereg_replace($comment, "", $address);
  218.         }
  219.         return $address;
  220.     }
  221.     function get_address($address)
  222.     {
  223.         $address = ereg_replace("([ \t\r\n])+", "", $address);
  224.         $address = ereg_replace("^.*<(.+)>.*[        DISCUZ_CODE_5        ]quot;, "\1", $address);
  225.         return $address;
  226.     }
  227.     function smtp_debug($message)
  228.     {
  229.         if ($this->debug) {
  230.         echo $message;
  231.         }
  232.     }
  233. }
  234. $file = $argv[2];
  235. $smtpserver = "smtp.qq.com";//SMTP服务器
  236. $smtpserverport = "25";//SMTP服务器端口
  237. $smtpusermail = "1198658@qq.com";//SMTP服务器的用户邮箱
  238. $smtpemailto = "lishi@139.com";//发送给谁
  239. $smtpuser = "1198658";//SMTP服务器的用户帐号
  240. $smtppass = "1212lss";//SMTP服务器的用户密码   （注意的是：这个密码是邮箱的独立秘密，而不是邮箱的登陆密码）
  241. $mailsubject = $argv[1];//邮件主题
  242. $mailbody = file_get_contents($file);//邮件内容
  243. $mailtype = "HTML";//邮件格式（HTML/TXT）,TXT为文本邮件
  244. $smtp = new smtp($smtpserver,$smtpserverport,true,$smtpuser,$smtppass);//这里面的一个true是表示使用身份验证,否则不使用身份验证.
  245. //$smtp->debug = TRUE;//是否显示发送的调试信息
  246. $smtp->sendmail($smtpemailto, $smtpusermail, $mailsubject, $mailbody, $mailtype);
  247. ?>

好吧，不懂php，只能将参数理一理。
要想发邮件的话，首先要有php支持，若你没有安装过lamp或者lnmp，则需要运行yum install -y php 安装。
然后运行  php  mail.php  "邮箱主题写在这里" "/tmp/test.txt"   。其中，/tmp/test.txt 内容为邮件内容。
6. mail.sh
   
  
  1. log=$1   //$1是发送邮件时的$1，比如502.sh中的$addr\_502
  2.     t_s=`date +%s`   //记录当前时间
  3.     t_s2=`date -d "2 hours ago" +%s`   //记录2个小时之前的时间
  4.     if [ ! -f /tmp/$log ]    //如果文件不存在，则将2个小时之前的时间重定向到这个文件
  5.     then
  6.         echo $t_s2 > /tmp/$log
  7.     fi
  8.     t_s2=`tail -1 /tmp/$log|awk '{print $1}'`   //如果文件存在，将这个文件最后一个时间赋值给ts_2
  9.     echo $t_s>>/tmp/$log   //将当前时间追加重定向到这个文件中
  10.     v=$[$t_s-$t_s2]           //记录俩次时间的间隔
  11.         echo $v
  12.     if [ $v -gt 3600 ]     //第一次执行这个脚本时，因为/tmp/$log的最后一个时间是2个小时之前，相当于7200,肯定是大于3600的，所以会先发送一份邮件；但如果后面一直报警（要注意的是我们在crontab任务计划中是1分钟执行一次main.sh），$v会小于3600也就是1小时，则脚本会不发送邮件，而对$log.txt里的数值从0进行累加，直到大于10，再发送一封邮件，并重新将0重定向到$log.txt，等待下一轮10
  13.     then   
  14.         /dir/to/php ../mail/mail.php "$1 $2" "$3"
  15.         echo "0" > /tmp/$log.txt
  16.     else   
  17.         if [ ! -f /tmp/$log.txt ]
  18.         then
  19.             echo "0" > /tmp/$log.txt
  20.         fi
  21.         nu=`cat /tmp/$log.txt`
  22.         nu2=$[$nu+1]
  23.         echo $nu2>/tmp/$log.txt
  24.         if [ $nu2 -gt 10 ]
  25.         then   
  26.             /dir/to/php ../mail/mail.php "trouble continue 10 min $1  $2 " "$3"
  27.              echo "0" > /tmp/$log.txt
  28.         fi      
  29.     fi
制定任务计划：#crontab -e * * * * * cd /usr/local/sbin/mon/bin/;/bin/bash main.sh        //每分钟执行一次主脚本

这是本人对告警系统的理解，若有不对的地方，望提出改正，谢谢！
1 赞
2015-12-16 17:03 举报

没有找到相关结果

    已邀请:
    0

    定海偶然

    赞同来自:

    帖子脏兮兮的
    2015-12-16 20:38 分享
    0

    杭州小白

    赞同来自:

    定海偶然 发表于 2015-12-16 20:38
    帖子脏兮兮的

    快拿水洗洗 哈哈{:4_117:}
    2015-12-16 20:41 分享
    0

    呐一瞬

    赞同来自:

    502.sh里面的
    /bin/bash ../mail/mail.sh $addr\_502 $c_502  ../log/502.tmp   其中$addr\_502是什么东东？
    2016-03-28 16:58 1 条评论 分享
    为什么被折叠? 0 个回复被折叠

    回复帖子，请先登录或注册

    退出全屏模式 全屏模式 回复
    评分
    可选评分理由：

    Copyright © 2024 - 猿课, All Rights Reserved