批量上传文件的脚本如何写

本文目录导读：

1. 引言：当“复制粘贴”成为效率杀手
2. 第一章：为什么要写脚本？—— 人工上传的三大痛点
3. 第二章：脚本设计前的“灵魂三问”
4. 第三章：核心代码拆解——从单文件到多线程的进化
5. 第四章：避坑指南：超时、重试与断点续传的黄金法则
6. 第五章：实战问答（Q&A）：解决你上手时的90%疑问
7. 让脚本成为你的数字员工

** 告别重复劳动：从零到一打造你的批量文件上传脚本（Python实战指南）

文章导读（目录）

• 引言：当“复制粘贴”成为效率杀手
• 第一章：为什么要写脚本？—— 人工上传的三大痛点
• 第二章：脚本设计前的“灵魂三问”（协议、平台、合规）
• 第三章：核心代码拆解——从单文件到多线程的进化
• 第四章：避坑指南：超时、重试与断点续传的黄金法则
• 第五章：实战问答（Q&A）：解决你上手时的90%疑问
• 让脚本成为你的数字员工

引言：当“复制粘贴”成为效率杀手

在日常工作中，我们时常面临这样的场景：面对200张产品图片、50份PDF合同，或者一周的运营数据报表，你需要将它们逐一上传到某个后台管理系统、对象存储桶或FTP服务器，如果此时你还在依靠鼠标点击“选择文件-上传-确认”的循环，那么你不仅是在消耗时间，更是在消耗耐心，根据效率统计，人工上传100张1MB的图片平均耗时约40分钟，而批量上传脚本只需要90秒，本文将从零开始，手把手教你写一个稳定、高效且带容错机制的批量上传脚本。

第一章：为什么要写脚本？—— 人工上传的三大痛点

1. 重复性极高：上传操作本身没有技术含量，但极度消耗注意力,容易导致漏传或错传。
2. 缺乏异常处理：网络抖动导致上传中断，人工很难发现具体是哪个文件失败了,需要从头再来。
3. 无法利用非高峰时段：脚本可以设定在深夜执行，避开网络拥堵,而人工无法做到。

第二章：脚本设计前的“灵魂三问”

在写代码前，请务必确认以下三个问题,否则脚本可能白写：

• 协议是什么？ 是HTTP/HTTPS的网页端（需要模拟表单），还是FTP/SFTP的服务器？或者是云厂商的S3 API？
• 认证方式是什么？ 是Cookie、Token（JWT），还是API密钥（Access Key）？
• 目标路径的规则？ 是全部放到同一目录，还是按日期/类型分文件夹？这一条决定了你脚本的复杂度。

第三章：核心代码拆解——从单文件到多线程的进化

这里以最通用的 Python + requests 库为例，演示如何模拟网页表单上传（适用于大部分后台管理系统）。

基础版（单线程串行）：

import requests
import os
import glob
# 配置区
url = "https://your-domain/api/upload"
headers = {"Cookie": "your_session_cookie_here"} # 从浏览器F12获取
file_dir = "./images" # 待上传文件夹
# 批量上传逻辑
for file_path in glob.glob(os.path.join(file_dir, "*.jpg")) + glob.glob(os.path.join(file_dir, "*.png")):
    with open(file_path, 'rb') as f:
        files = {'file': (os.path.basename(file_path), f)}
        try:
            resp = requests.post(url, headers=headers, files=files, timeout=30)
            if resp.status_code == 200:
                print(f"[成功] {os.path.basename(file_path)}")
            else:
                print(f"[失败] {os.path.basename(file_path)} - 状态码: {resp.status_code}")
        except Exception as e:
            print(f"[异常] {os.path.basename(file_path)} - {e}")

进化版（线程池并发）： 对于小文件（小于5MB），串行太慢，我们引入concurrent.futures来实现并发上传，速度提升5-10倍，核心代码是将上述upload_one_file函数包装后，放入ThreadPoolExecutor的submit方法中。

第四章：避坑指南：超时、重试与断点续传的黄金法则

一个生产级别的脚本,必须包含以下三点：

1. 超时设置：在requests.post中必须加timeout=(连接超时, 读取超时),否则脚本卡死。
2. 失败重试机制：封装一个重试装饰器，对ConnectionError或Timeout进行最多3次重试，且使用指数退避（第一次等1秒，第二次等2秒，第三次等4秒）。
3. 断点续传（关键） ：遍历文件时，先检查本地数据库或日志文件，记录哪些文件已成功，如果重复执行脚本，必须跳过已成功的文件，或者通过Content-Range头进行分块续传,避免资源浪费。

第五章：实战问答（Q&A）：解决你上手时的90%疑问

Q1：我的网站上传接口需要验证Token，且Token每10分钟就过期，脚本执行到一半失效了怎么办？

答：不要在循环外写死Token。在循环体内部，每处理N个文件（比如50个）后，调用一次刷新Token的接口，动态更新请求头，或者利用requests.Session()会话对象,处理Cookie自动续期。

Q2：FTP上传和HTTP上传，脚本逻辑差别大吗？

答：逻辑完全一致，只是库不同，HTTP用requests，FTP用ftplib或paramiko（SFTP），区别在于FTP需要先connect、login，再storbinary，不要用HTTP的思路去写FTP的代码，否则会遇到TypeError。

Q3：上传几千个文件时，控制台刷屏，如何优雅显示进度？

答：不要用print，使用tqdm库（from tqdm import tqdm），将你的文件列表包起来，它会显示一个漂亮的进度条、百分比和实时速度。

让脚本成为你的数字员工

写批量上传脚本的核心不在于代码本身，而在于对业务流程的梳理，当你把“目标路径规则”和“失败重试机制”思考清楚后，30行代码就能解决大问题。请务必先在测试环境跑通,再放到生产环境。

如果你刚接触，请记住以下安全准则：

1. 不要将Cookie或密钥硬编码在脚本里，请使用环境变量（os.getenv()）。
2. 正式操作前，先复制几个测试文件跑一遍，并开启 dry_run 模式（只显示将要执行的操作，不实际传输）。

行动号召：打开你的IDE，把第一个文件上传成功吧！只要突破了0到1,剩下的1到100只是时间问题。

（注：本文示例代码基于Python 3.8+，如果你使用的是Node.js或Bash，逻辑同样通用，重点在于理解协议与机制。）