Shell脚本如何控制云存储请求频率

wen 实用脚本 2026-07-17 1

云存储API限流实战：Shell脚本如何精准控制请求频率

📖 目录导读

为什么需要控制云存储请求频率？
核心原理：令牌桶算法与Shell实现
实战脚本：基于sleep的简单限流
进阶方案：基于时间的动态频率控制
异常处理与日志监控
常见问题FAQ

为什么需要控制云存储请求频率？

云存储服务（如阿里云OSS、腾讯云COS、AWS S3）通常会对API请求设置速率限制（Rate Limit）。

Shell脚本如何控制云存储请求频率

单账号每秒最多100次PUT请求
每分钟不超过6000次GET请求

超过限制会导致HTTP 429（Too Many Requests） 错误，甚至临时封禁账号，Shell脚本在批量上传/下载文件时，必须主动控制请求频率，否则会引发：

任务中断：重试逻辑陷入死循环
带宽浪费：无效请求占用网络资源
额外成本：部分云服务对超额请求收费

核心原理：令牌桶算法与Shell实现

行业主流算法

算法	特点	Shell实现难度
漏桶算法	固定速率输出	中等（需维护队列）
令牌桶算法	允许突发流量	简单（计数+时间）
滑动窗口	精确限流	复杂（需记录时间戳）

Shell令牌桶实现

令牌桶算法核心：用变量记录已用令牌数，配合时间戳重置

代码示例（函数化）：

# 初始化令牌桶参数
RATE_LIMIT=10   # 每秒允许请求数
TOKEN_BUCKET=10 # 当前可用令牌
function throttle() {
    local current_time=$(date +%s)
    local elapsed=$(( current_time - LAST_CHECK ))
    # 令牌补充（每秒补充RATE_LIMIT个）
    (( TOKEN_BUCKET += elapsed * RATE_LIMIT ))
    [ $TOKEN_BUCKET -gt $RATE_LIMIT ] && TOKEN_BUCKET=$RATE_LIMIT
    if [ $TOKEN_BUCKET -gt 0 ]; then
        (( TOKEN_BUCKET-- ))
        LAST_CHECK=$current_time
        return 0  # 允许请求
    else
        sleep $(echo "scale=2; 1/$RATE_LIMIT" | bc)
        throttle  # 递归重试
    fi
}

实战脚本：基于sleep的简单限流

面向初学者的基础版本

适用于批量上传小于100个文件的场景：

#!/bin/bash
# 简单限流：每次请求后固定等待0.1秒（即10QPS）
DELAY=0.1
UPLOAD_DIR="./files"
for file in "$UPLOAD_DIR"/*; do
    # 调用云存储CLI（以阿里云OSS为例）
    ossutil cp "$file" oss://bucket/path/ 
    sleep $DELAY  # 核心限流逻辑
done

缺点：

无法精确控制QPS（实际速率受处理时间影响）
并发场景下不适用

改进版：时间戳控制法

# 精确控制在指定秒数内完成N个请求
REQUESTS_PER_SEC=5
INTERVAL=$(echo "scale=3; 1/$REQUESTS_PER_SEC" | bc)
START_TIME=$(date +%s%N)
for i in {1..20}; do
    # 执行操作...
    CURRENT_TIME=$(date +%s%N)
    ELAPSED=$(( (CURRENT_TIME - START_TIME) / 1000000 )) # 毫秒
    TARGET_WAIT=$(( i * 1000 / REQUESTS_PER_SEC ))        # 理论耗时
    WAIT_TIME=$(( TARGET_WAIT - ELAPSED ))
    [ $WAIT_TIME -gt 0 ] && sleep $(echo "scale=3; $WAIT_TIME/1000" | bc)
done

进阶方案：基于时间的动态频率控制

分阶段频率调整策略

在批量操作中,云服务可能对前N个请求宽松，后续收紧，Shell脚本可实现自适应限流：

# 环境变量控制
INITIAL_RATE=20     # 前10个请求使用20QPS
STEADY_RATE=5       # 后续降为5QPS
ADAPT_THRESHOLD=10  # 阈值
RATE=$INITIAL_RATE
COUNT=0
while read file; do
    ((COUNT++))
    [ $COUNT -gt $ADAPT_THRESHOLD ] && RATE=$STEADY_RATE
    # 按当前RATE执行限流（复用上文令牌桶函数）
    throttle $RATE || { echo "限流失败，退出"; exit 1; }
    # 执行上传...
done < filelist.txt

针对不同API的差异化限流

# 读取API配置文件（api.conf格式：api_name,requests_per_sec,burst）
declare -A LIMITS
while IFS=',' read -r name qps burst; do
    LIMITS[$name]=$qps
done < api.conf
# 使用示例
THROTTLE_CFG="${LIMITS[PUT]}" # 获取PUT请求限流值

异常处理与日志监控

智能重试与错误回退

当收到502/429错误时，自动降低频率：

MAX_RETRY=3
BACKOFF_FACTOR=2  # 指数退避
function upload_with_retry() {
    local retry=0
    local wait=1
    until [ $retry -ge $MAX_RETRY ]; do
        response=$(ossutil cp "$1" "$2" 2>&1)
        if [[ $response =~ "429" ]]; then
            echo "触发限流，等待${wait}秒重试..."
            sleep $wait
            (( wait *= BACKOFF_FACTOR ))
            (( retry++ ))
        elif [[ $response =~ "error" ]]; then
            return 1
        else
            return 0
        fi
    done
}

日志审计的关键字段

建议输出以下信息：

[2025-01-15 14:30:22] INFO | 请求文件: photo.jpg | 状态: 成功 | 延迟: 0.15s | 当前队列: 5
[2025-01-15 14:30:25] WARN | 请求文件: video.mp4 | 状态: 429 | 等待: 3s | 当前QPS: 8