Shell脚本如何实现文件锁机制

wen 实用脚本 2026-07-11 2

Shell脚本如何实现文件锁机制：从原理到实战的完整指南

目录导读

为什么需要文件锁：多进程竞争的血泪史
文件锁的核心原理：原子操作与临界区
Shell脚本实现文件锁的7种方法详解
最佳实践：生产级文件锁脚本模板
常见问题与问答（FAQ）
避坑指南：常见错误与性能陷阱

为什么需要文件锁：多进程竞争的血泪史

Shell脚本如何实现文件锁机制

当多个Shell脚本或进程同时操作同一文件（如日志、配置文件、数据库文件）时，竞态条件会导致数据错乱，两个备份脚本同时写同一个日志文件，可能会相互覆盖，导致内容丢失。

文件锁的作用：

互斥访问：确保同一时间只有一个进程能操作临界资源。
原子性保障：防止文件读写被中间打断。
防重入：避免同一脚本被多次同时执行（如cron任务重复运行）。

典型场景：

定时备份脚本（防止上次备份未完成，新任务启动）
日志轮转（logrotate避免写入冲突）
多节点文件同步（如NFS环境下的锁）

问答环节
Q：文件锁和数据库锁有什么区别？
A：数据库锁由数据库引擎管理，粒度更细；而Shell文件锁更轻量，适用于无数据库环境的简单互斥，但文件锁无法处理跨机器的分布式锁（除非依赖NFS锁或外部协调服务）。

文件锁的核心原理：原子操作与临界区

文件锁的本质是通过操作系统提供的文件操作原子性来模拟互斥信号量，关键点：

原子操作：创建文件（mkdir）或写入文件（ln）要么成功要么失败，不存在中间状态。
临界区：需要保护的代码块（如文件写入逻辑）。
锁文件：一个代表“已锁定”状态的特殊文件（如/var/run/myapp.lock）。

操作系统层面支持：

flock系统调用：Linux内核提供的文件锁原语（对文件描述符加锁）。
lockf/fnctl：POSIX标准接口。
mkdir原子性：目录创建是原子操作（要么创建成功，要么失败，不会残留空目录）。

问答环节
Q：为什么使用mkdir而不是touch来实现互斥？
A：touch如果文件已存在会更新修改时间，而不是报错；而mkdir当目录已存在时会返回非零退出码，天然实现了“失败即占用”的语义。

Shell脚本实现文件锁的7种方法详解

方法1：基于`flock`命令（推荐）

#!/bin/bash
LOCK_FILE="/tmp/myapp.lock"
exec 200>$LOCK_FILE            # 打开或创建锁文件
flock -n 200 || exit 1         # 非阻塞获取锁，失败则退出
echo "执行临界区操作..."
sleep 5
flock -u 200                   # 释放锁

优点：内核级支持，自动释放锁（进程退出时）。
缺点：需要确保exec重定向的文件描述符唯一。

方法2：基于`mkdir`原子性（经典方案）

LOCK_DIR="/tmp/myapp.lock_dir"
if [ mkdir "$LOCK_DIR" 2>/dev/null ]; then
    echo "获锁成功"
    trap "rmdir $LOCK_DIR" EXIT  # 确保退出时清理
    # 临界区代码
else
    echo "进程已运行，退出"
    exit 1
fi

优点：不依赖flock（跨平台）。
缺点：如果脚本内部崩溃，锁目录可能残留（需处理异常退出）。

方法3：基于`lockfile`命令（旧式方案）

lockfile -r 3 /tmp/mylockfile.lock      # 最多重试3次
if [ $? -eq 0 ]; then
    echo "获锁成功"
    rm -f /tmp/mylockfile.lock
fi

注意：lockfile是procmail包的工具，并非所有系统默认安装。

方法4：基于`link`系统调用

LOCK_FILE="/tmp/myapp.lnk"
if ln "$LOCK_FILE" "$LOCK_FILE.locked" 2>/dev/null; then
    echo "获锁成功"
    rm -f "$LOCK_FILE.locked"
fi

原理：ln原子创建硬链接，目标文件存在时失败，但需注意文件系统支持硬链接。

方法5：基于`flock`函数封装

function get_lock {
    local lockfile=$1
    local fd_name=${2:-200}
    eval "exec $fd_name>"$lockfile"
    flock -n $fd_name && return 0 || return 1
}
function release_lock {
    local fd_name=${1:-200}
    flock -u $fd_name
}

方法6：基于`timeout`和`flock`实现超时等待

timeout 10 flock -w 5 /tmp/database.lock -c "mysql -e 'UPDATE ...'"

适用：避免锁等待过长导致阻塞。

方法7：NFS环境下的锁挑战与`dotlockfile`

NFS默认不支持flock，需改用dotlockfile工具或基于目录的锁（需注意NFS同步延迟），示例：

dotlockfile -r 5 /nfs/shared.lock
# 操作...
dotlockfile -u /nfs/shared.lock

问答环节
Q：flock和mkdir方案在性能上谁更优？
A：flock是系统调用，性能最优；mkdir涉及文件系统元数据操作，稍慢但可移植性更好，如果脚本频繁加解锁（每秒多次），建议使用flock。

最佳实践：生产级文件锁脚本模板

以下是一个完整的、可复用的文件锁实现，包含超时重试、信号处理、日志记录：

#!/bin/bash
# 作用：通用文件锁脚本模板
# 用法：source file_lock.sh 然后调用 lock_acquire / lock_release
LOCK_PREFIX="/var/run"
DEFAULT_TIMEOUT=10
function lock_acquire {
    local lock_name=$1
    local timeout=${2:-$DEFAULT_TIMEOUT}
    local lock_file="$LOCK_PREFIX/$lock_name.lock"
    # 使用flock，并支持超时
    exec 200>"$lock_file"
    if ! flock -w $timeout 200; then
        echo "ERROR: 无法获取锁 $lock_name (超时${timeout}s)" >&2
        return 1
    fi
    echo "锁 $lock_name 已获取 (PID:$$)" > "$lock_file.pid"
    trap "lock_release $lock_name" EXIT INT TERM
    return 0
}
function lock_release {
    local lock_name=$1
    local lock_file="$LOCK_PREFIX/$lock_name.lock"
    if [ -e "$lock_file.pid" ]; then
        rm -f "$lock_file.pid"
    fi
    flock -u 200 2>/dev/null
    echo "锁 $lock_name 已释放"
}
# 示例用法
lock_acquire "backup_job" || exit 1
echo "执行备份..."
sleep 10
lock_release "backup_job"

关键点：

文件描述符管理：确保同一进程内不重复打开锁文件。
pid文件：记录锁定进程，便于调试“锁残留”。
trap清理：覆盖EXIT（正常退出）、INT（Ctrl+C）、TERM（kill命令）。

常见问题与问答（FAQ）

Q1：文件锁能处理跨服务器分布式场景吗？
A：不能。flock和mkdir仅适用于单机或共享文件系统（如NFS需特殊配置），分布式锁需使用ZooKeeper、etcd或Redis。

Q2：如何检测锁文件“僵尸”（进程已死但锁未释放）？
A：读取.pid文件，用kill -0 <PID>检查进程是否存在，若进程消失，可安全移除锁文件。

Q3：一个进程可以多次加锁吗（可重入锁）？
A：flock默认支持同进程内重复加锁（仅计数增加），但mkdir不可重入，若需可重入，建议使用flock。

Q4：为什么我的flock在函数中失效？
A：确保文件描述符（如200）未在函数作用域内被关闭，使用exec 200>...全局分配描述符。

避坑指南：常见错误与性能陷阱

陷阱：锁文件路径权限不足
解决方案：将锁文件放在/var/run或/tmp，确保脚本有写权限。
陷阱：忘记关闭文件描述符
问题：文件描述符耗尽（默认最多1024）。
解决：显式关闭：exec 200>&-
陷阱：循环中重复创建锁文件
问题：每次迭代都exec新描述符，导致未释放。
解决：仅在循环外打开文件描述符。
陷阱：多个脚本使用同一个锁文件
问题：功能无关的脚本意外互锁。
解决：锁文件名使用唯一标识，如appName_operation.lock。
性能建议
- 短临界区（<1秒）使用flock+非阻塞模式。
- 避免在锁内执行网络请求或大文件操作。
- 使用锁超时机制防止死锁。

文件锁是Shell脚本高并发场景的基石,选择flock优先（除非需要移植性）；使用mkdir作后备方案；永远添加trap清理和pid文件，通过本文的7种方法和模板，你可以为任何Shell脚本添加健壮的锁机制，阻止数据损坏和任务重复执行。

文章结束

Shell脚本如何实现文件锁机制