Shell脚本批量处理日志文件怎么写

wen 实用脚本 2026-07-12 1

Shell脚本批量处理日志文件的完整指南

目录导读

Shell脚本批量处理日志文件的适用场景
基础准备：日志文件数据结构分析
核心技巧：常用Shell命令组合与正则表达式
实战案例：日志压缩归档与异常提取脚本
性能优化：处理千万级日志的并行策略
常见问题FAQ：脚本调试与跨平台兼容

适用场景与核心痛点

在企业运维与数据分析中，海量日志文件的处理是高频需求，Nginx访问日志、应用系统运行日志、服务器安全日志等，每天可能产生数百个文件，单个文件可达GB级别，手动使用grep、awk逐文件处理效率极低,且容易遗漏关键信息。

Shell脚本批量处理日志文件怎么写

典型痛点包括：

日志文件分散在多个目录，命名不规则
需要按时间段、错误级别、IP地址等维度过滤
重复性操作（如每天凌晨合并旧日志并压缩）
跨服务器远程拉取日志后需要统一清洗

Shell脚本通过循环结构、管道组合与条件判断，能将这些重复劳动封装为可复用、可定时执行的自动化工具。

基础准备：日志文件数据结构分析

在编写脚本前，必须理解日志的格式，以常见的Apache/NGINX访问日志为例：

168.1.1 - - [10/Oct/2023:13:55:36 +0800] "GET /index.html HTTP/1.1" 200 2326

关键字段提取思路：

IP地址：第一个$1字段（默认以空格分隔）
时间戳：第4个字段，去除方括号后用作为分隔符
请求方法：第6个字段（带引号，需用awk -F '"' '{print $2}'拆分）
状态码：第9个字段
响应大小：第10个字段

实践建议： 在脚本开头加入行数统计与样本展示

echo "日志总数：$(wc -l < *.log)"
head -5 access.log | column -t

核心技巧：常用Shell命令组合与正则表达式

for循环遍历文件

#!/bin/bash
log_dir="/var/log/nginx"
output_dir="/tmp/processed"
mkdir -p "$output_dir"
for file in "$log_dir"/*.log; do
  filename=$(basename "$file")
  # 提取当天错误日志
  grep "ERROR" "$file" > "$output_dir/errors_$filename"
done

awk高级列处理

按日期合并日志：

awk '{print $4,$0}' access.log | sort -k1,1 | cut -d' ' -f2- > sorted_logs.txt

sed批量替换与清理

移除敏感信息或标准化格式：

sed -i 's/Password: [^ ]*//g' security.log

正则表达式提取特定模式

# 提取所有5xx状态码请求
grep -P '" [5][0-9]{2} ' access.log | awk '{print $1}' | sort | uniq -c | sort -nr

实战案例：日志压缩归档与异常提取脚本

下面是一个完整的log_processor.sh脚本,它能够：

自动识别以.log结尾的文件
统计每个文件的错误行数并生成报告
压缩7天前的日志
合并所有当天的错误日志到集中文件

#!/bin/bash
# 文件名: log_processor.sh
# 用途: 批量处理日志文件并提取异常信息
# 配置区域
LOG_PATH="/var/log/app"
BACKUP_DIR="/backup/logs/$(date +%Y%m%d)"
ERROR_PATTERNS="(ERROR|FATAL|Critical)"
RETENTION_DAYS=7
# 初始化
mkdir -p "$BACKUP_DIR"
error_report="$BACKUP_DIR/error_summary.txt"
> "$error_report"
# 遍历日志文件
for log_file in "$LOG_PATH"/*.log; do
  if [ ! -f "$log_file" ]; then
    echo "警告：未找到日志文件 $log_file" >&2
    continue
  fi
  filename=$(basename "$log_file")
  total_lines=$(wc -l < "$log_file")
  error_lines=$(grep -cE "$ERROR_PATTERNS" "$log_file")
  # 生成行摘要
  echo "$filename: 总行数 $total_lines, 错误行数 $error_lines" >> "$error_report"
  # 提取错误日志
  grep -E "$ERROR_PATTERNS" "$log_file" > "$BACKUP_DIR/errors_$filename"
  # 压缩7天前的文件（假设文件名包含日期如app_20231010.log）
  if [[ "$log_file" =~ 19|20[0-9]{6} ]]; then
    file_date=$(echo "$log_file" | grep -oP '\d{8}')
    if [ $(date -d "$file_date" +%s) -lt $(date -d "$(date -d "-$RETENTION_DAYS days")" +%s) ]; then
      gzip "$log_file" && echo "已压缩: $log_file"
    fi
  fi
done
# 合并当天所有错误日志
cat "$BACKUP_DIR"/errors_*.log > "$BACKUP_DIR/all_errors_$(date +%Y%m%d).log"
echo "[完成] 处理结果已保存至 $BACKUP_DIR"

执行方法：

chmod +x log_processor.sh
./log_processor.sh

性能优化：处理千万级日志的并行策略

当日志文件总大小超过10GB或文件数超过1000时，串行循环可能耗时数小时,采用以下优化方案：

xargs并行执行

ls "$LOG_PATH"/*.log | xargs -P 4 -I {} sh -c 'grep "ERROR" "$1" > "/tmp/errors_$(basename "$1")"' _ {}

-P 4表示同时启动4个进程,可根据CPU核心数调整。

使用awk代替多管道

awk '/(ERROR|FATAL)/{print >> "/tmp/all_errors_" strftime("%Y%m%d", systime())}' *.log

减少磁盘I/O的次数,awk内部能高效处理大文件。

分割与合并策略

split -l 100000 large.log chunk_
for f in chunk_*; do grep "ERROR" "$f" > "filtered_$f" & done
wait
cat filtered_chunk_* > final_errors.log && rm -f chunk_* filtered_chunk_*

优化前后对比表：

策略	处理时间（10GB日志）	CPU利用率	适用场景
纯for循环	30分钟	20%	小规模（<1GB）
xargs并行	8分钟	90%	中大规模
awk单命令	5分钟	100%	格式一致的大文件

常见问题FAQ：脚本调试与跨平台兼容

Q1：脚本在CentOS正常，但在Ubuntu报错“grep: invalid option -- P”怎么办？

答：Ubuntu的grep默认不支持Perl兼容正则（-P），改用grep -E或awk,通用写法：

grep -E '(ERROR|CRITICAL)' # 替代grep -P

Q2：处理20万行日志时内存溢出了？

答：避免一次性读入整个文件,使用管道流式处理：

# 错误写法（全部读入内存）
cat huge.log | while read line; do ...
# 正确写法（逐行读取）
while IFS= read -r line; do ...; done < huge.log

Q3：如何从文件名中提取时间范围？

答：假设文件名格式为server_20231010_14.log：

date_str=$(echo "$filename" | grep -oP '\d{8}')
hour=$(echo "$filename" | grep -oP '(?<=_)\d{2}(?=\.log)')

Q4：脚本执行时遇到Permission denied如何处理？

答：检查文件所有权与执行权限：

sudo chmod +x script.sh
# 或使用bash直接调用
bash script.sh

Q5：日志文件包含制表符或特殊字符导致awk解析异常？

答：设置字段分隔符为[ \t]并关闭变量替换：

awk -F '[ \t]+' '{print $1}' log.txt

Shell脚本批量处理日志文件的核心在于：理解数据格式 → 选择高效命令 → 结构化循环 → 性能优化，通过本文提供的模板代码、正则技巧与性能策略,您能够应对从几MB到数十GB的日志处理任务。

建议将常用脚本放入/usr/local/bin并添加定时任务（cron），实现零人工干预的自动化运维，对于更复杂的日志分析需求（如JSON格式、多级嵌套）,则需在Shell基础上结合Python或Go语言进行扩展。