IT技术社区_专业开发者平台_最新编程教程与解决方案 -沐辰社区

如何用实用脚本监控服务器状态？

wen 实用脚本 2

如何用实用脚本监控服务器状态？——从零搭建自动化预警系统

目录导读

  1. 为什么需要脚本监控？ —— 传统监控的痛点与脚本的优势
  2. 核心监控指标清单 —— CPU、内存、磁盘、网络、进程一个不落
  3. 四大实用脚本实战
    • 1 基础健康检查脚本（Bash版）
    • 2 内存泄漏与CPU异常检测（Python版）
    • 3 磁盘IO与空间预警（Shell+钉钉通知）
    • 4 网络连通性与端口监听脚本（含日志轮转）
  4. 脚本部署与告警联动 —— 结合cron与第三方通知
  5. 常见问题问答
    • Q1：脚本监控与Zabbix/Prometheus冲突吗？
    • Q2：如何避免脚本本身消耗过高资源？
    • Q3：监控脚本被误杀后如何自愈？
  6. —— 从“被动救火”到“主动预防”

为什么需要脚本监控？

许多运维新手依赖大型监控系统（如Zabbix、Prometheus），但在小规模服务器、开发环境或临时性排查场景中，部署全栈监控往往显得“杀鸡用牛刀”。实用脚本监控具有以下不可替代的优势：

如何用实用脚本监控服务器状态？

  • 零部署成本：单文件即可运行，无需安装Agent、数据库或Web界面。
  • 高灵活性：可按需定义阈值、告警动作（如重启服务、清理日志）。
  • 跨平台兼容：Bash脚本适配Linux/macOS，Python脚本可跨Windows+Linux。
  • 实时性可控：通过cron设置为1分钟或5分钟一次，比传统轮询更灵活。

但脚本监控也有局限性：不适合大规模集群的横向扩展，且缺乏历史数据可视化，因此建议用脚本覆盖“紧急层级”的告警，用专业工具做长期趋势分析。

核心监控指标清单

一个优秀的监控脚本至少应覆盖以下维度：

指标类别 具体字段 健康阈值（参考） 异常影响
CPU 使用率、负载（load average） 连续5分钟负载>核心数×1.5 服务响应变慢、超时
内存 已用比例、Swap交换量 已用>90% 或 Swap持续增长 OOM Killer触发、进程崩溃
磁盘 空间使用率、IO等待时间 根分区>85%，IO等待>30% 写入失败、数据库锁死
网络 延迟、丢包率、端口连通性 丢包率>1% 或 端口未监听 外部用户无法访问
进程 关键进程是否存活（如nginx） 退出码非0或进程数=0 业务中断

脚本设计原则：每个指标尽量单次采集、多次比较（例如取3次平均），避免瞬时尖峰导致误报。

四大实用脚本实战

1 基础健康检查脚本（Bash版）

适用场景：快速登录服务器后执行一次全量检查，或通过SSH远程运行。

#!/bin/bash
# 文件名：server_health.sh
# CPU负载（取1分钟平均，乘以100避免小数）
load=$(cat /proc/loadavg | awk '{print $1*100}' | cut -d'.' -f1)
cpu_cores=$(nproc)
load_threshold=$((cpu_cores * 150))  # 50%超载定义为阈值
# 内存使用率
mem_total=$(free -m | awk '/Mem:/ {print $2}')
mem_used=$(free -m | awk '/Mem:/ {print $3}')
mem_percent=$((mem_used * 100 / mem_total))
# 磁盘根分区使用率
disk_used=$(df / | awk 'NR==2 {print $5}' | tr -d '%')
# 输出结果（带颜色）
if [ $load -gt $load_threshold ]; then
    echo -e "\033[31m[CRITICAL] CPU负载过高: $(cat /proc/loadavg | awk '{print $1}')\033[0m"
else
    echo -e "\033[32m[OK] CPU负载: $(cat /proc/loadavg | awk '{print $1}')\033[0m"
fi
if [ $mem_percent -gt 90 ]; then
    echo -e "\033[31m[CRITICAL] 内存使用率: ${mem_percent}%\033[0m"
else
    echo -e "\033[32m[OK] 内存使用率: ${mem_percent}%\033[0m"
fi
if [ $disk_used -gt 85 ]; then
    echo -e "\033[31m[CRITICAL] 磁盘使用率: ${disk_used}%\033[0m"
else
    echo -e "\033[32m[OK] 磁盘使用率: ${disk_used}%\033[0m"
fi

升级点：可添加-m参数实现邮件发送（依赖mail命令），或集成到~/.bashrc实现登录即检查。

2 内存泄漏与CPU异常检测（Python版）

适用场景：Java/Python应用常见的内存逐渐增长或CPU占用飙升问题。

#!/usr/bin/env python3
# 文件名：mem_cpu_watch.py
import psutil
import time
import smtplib
from email.mime.text import MIMEText
def alert(subject, body):
    # 假配置，实际替换为真实SMTP
    msg = MIMEText(body)
    msg['Subject'] = subject
    msg['From'] = 'monitor@example.com'
    msg['To'] = 'admin@yourcompany.com'
    # s = smtplib.SMTP('smtp.example.com')
    # s.send_message(msg)
    print(f"[ALERT] {subject}: {body}")  # 测试时先输出
# 连续采集10次，每次间隔2秒
cpu_list = []
mem_list = []
for _ in range(10):
    cpu_list.append(psutil.cpu_percent(interval=0.5))
    mem_list.append(psutil.virtual_memory().percent)
    time.sleep(2)
cpu_avg = sum(cpu_list) / len(cpu_list)
mem_max = max(mem_list)
# 检测逻辑：CPU平均值>80% 或 内存峰值>95%
if cpu_avg > 80:
    alert("CPU异常高负载", f"平均CPU使用率: {cpu_avg:.1f}%")
if mem_max > 95:
    alert("内存即将耗尽", f"最高内存使用率: {mem_max:.1f}%")
# 检测内存泄漏：对比首尾5次的内存变化
first_5 = sum(mem_list[:5]) / 5
last_5 = sum(mem_list[-5:]) / 5
if last_5 - first_5 > 5:  # 2秒内增长超过5%视为异常
    alert("疑似内存泄漏", f"内存从{first_5:.1f}%升至{last_5:.1f}%")

注意：需提前安装pip install psutil，生产环境建议将SMTP配置加密（如使用环境变量），避免密码泄露。

3 磁盘IO与空间预警（Shell+钉钉通知）

适用场景：数据库服务器或日志密集型服务器的磁盘写入压力监测。

#!/bin/bash
# 文件名：disk_watch.sh
# 获取磁盘空间使用率（排除tmpfs）
df -h | grep -v tmpfs | awk '{print $5, $6}' | while read percent mount; do
    percent_num=${percent%\%}
    if [ $percent_num -gt 85 ]; then
        message="磁盘告警: $mount 使用率已达${percent_num}%"
        # 钉钉机器人Webhook（需替换Token）
        curl -s -X POST "https://oapi.dingtalk.com/robot/send?access_token=YOUR_TOKEN" \
            -H "Content-Type: application/json" \
            -d "{\"msgtype\":\"text\",\"text\":{\"content\":\"$message\"}}"
        # 可选：自动清理旧日志（谨慎使用）
        # find $mount/var/log -name "*.log" -mtime +30 -delete
    fi
done
# 磁盘IO使用率（依赖iostat，需安装sysstat）
io_util=$(iostat -x 1 2 | tail -1 | awk '{print $11}' | cut -d'.' -f1)
if [ -n "$io_util" ] && [ $io_util -gt 90 ]; then
    curl -s -X POST "..." -d "{\"text\":{\"content\":\"磁盘IO高达${io_util}%\"}}"
fi

关键点：钉钉/飞书/企业微信机器人均支持自定义关键词，注意设置“报警”等关键词避免命中频率限制。

4 网络连通性与端口监听脚本（含日志轮转）

适用场景：检测MySQL/Redis/Web服务是否可达，并记录历史日志以便回溯。

#!/bin/bash
# 文件名：port_check.sh
LOG_FILE="/var/log/port_monitor.log"
HOSTS=("192.168.1.1:3306" "8.8.8.8:53" "localhost:80")
# 日志轮转（保留最近30天）
[ -f "$LOG_FILE" ] && find "$LOG_FILE" -mtime +30 -delete
for entry in "${HOSTS[@]}"; do
    host=$(echo $entry | cut -d':' -f1)
    port=$(echo $entry | cut -d':' -f2)
    timeout 2 bash -c "echo >/dev/tcp/$host/$port" 2>/dev/null
    if [ $? -eq 0 ]; then
        echo "$(date '+%Y-%m-%d %H:%M:%S') [OK] $host:$port" >> $LOG_FILE
    else
        echo "$(date '+%Y-%m-%d %H:%M:%S') [FAIL] $host:$port" >> $LOG_FILE
        # 执行恢复操作（例如重启nginx）
        # systemctl restart nginx
    fi
done
# 检查最近10条是否有连续失败（用于升阶告警）
tail -10 $LOG_FILE | grep -c "FAIL" | while read fail_count; do
    if [ $fail_count -gt 5 ]; then
        echo "$(date) 连续5次以上失败，触发紧急告警" >> $LOG_FILE
        # 此处可发短信或语音电话
    fi
done

注意：/dev/tcp是Bash内置特性，不需要额外工具，但需确保编译支持（大部分Linux发行版默认开启）。

脚本部署与告警联动

1 定时执行——crontab配置

# 每分钟检查一次端口和CPU，每5分钟检查磁盘空间
* * * * * /opt/scripts/server_health.sh >/dev/null 2>&1
*/5 * * * * /opt/scripts/disk_watch.sh

2 告警通道选择

  • 轻量级：钉钉/飞书/企业微信机器人（免费、支持Markdown）
  • 中量级：Telegram Bot（配合curl发送API请求）
  • 企业级：Alertmanager + 自研Webhook，或整合到现有监控平台（如Prometheus用alert-manager发送）

3 脚本自保护机制（防脚本挂掉）

  • 使用systemd timer代替cron，如果脚本超时，systemd会自动kill+重启。
  • 在脚本第一行加上exec > >(logger -t monitor)将输出重定向到syslog。

常见问题问答

Q1：脚本监控与Zabbix/Prometheus冲突吗？

A：完全不冲突，建议分工：

  • 脚本负责“秒级-分钟级”的即时告警（如端口挂了、内存突增）
  • Zabbix/Prometheus负责“小时级-天级”的趋势分析和报表
    两者可共存：脚本发现的异常可通过标准格式推送到Prometheus的Pushgateway，或写入Zabbix TrapperItem。

Q2：如何避免脚本本身消耗过高资源？

A：核心原则——脚本本身占用需低于总资源的0.5%。

  • 避免在循环内反复执行grep或awk；
  • 使用内置命令（如/proc/stat）而非第三方工具；
  • 设置合理的sleep间隔（如端口检查每次0.5秒，不要无延迟循环）；
  • 建议使用timeout命令限制单个操作不超过2秒，防止阻塞。

Q3：监控脚本被误杀后如何自愈？

A：通过系统健康系统重启：

  1. 将脚本注册为systemd服务： 
    [Service]
ExecStart=/opt/scripts/monitor.sh
Restart=always
RestartSec=10
  2. 或使用supervisor监控脚本进程,当进程退出时自动拉起。
  3. 更简单的方式：在crontab中每5分钟执行一次自保检查：pgrep -f monitor.sh || /opt/scripts/monitor.sh

从“被动救火”到“主动预防”

通过四类实用脚本,你可以：

  • 提前发现：内存泄漏在OOM发生前已预警；
  • 自动响应：磁盘空间不足时自动清理旧日志；
  • 可追溯：网络丢包历史记录支持事后分析；
  • 低成本：无需额外硬件或软件许可。

建议行动清单：

  1. 优先部署“端口监听脚本”，让服务异常无处遁形；
  2. 为每台服务器添加“磁盘空间预警”并关联钉钉群；
  3. 复杂环境升级为Python脚本,利用psutil获取更细致的CPU温度、网络IO等指标。

监控的本质不是“发现故障”，而是“在用户发现之前解决问题”，用实用脚本搭建起第一道防线，让服务器状态始终掌握在你手中。

参考来源：结合Linux内核文档、主流运维社区（如DevOpsCoach、DigitalOcean教程）及开源项目（如nodemon）的核心逻辑，经笔者多年生产环境经验整合优化，所有脚本在Ubuntu 22.04 / CentOS 7 上测试通过。

上一篇哪些实用脚本能简化日常购物比价？

下一篇实用脚本如何实现自动发送邮件？

相关文章

抱歉，评论功能暂时关闭!