PHP 游标分批处理

PHP游标分批处理实战：告别内存溢出，打造高性能大数据导出方案

目录导读

1. 为什么需要游标分批处理？ - 理解传统查询的内存瓶颈
2. PHP游标机制深度解析 - 从MySQL原生游标到PDO模拟实现
3. 三种主流分批方案对比 - 游标vs分页vs流式迭代
4. 最佳实践：游标+生成器组合 - 代码级内存优化技巧
5. 常见坑与性能调优 - 锁机制、超时与网络延迟应对
6. 高频问答（FAQ） - 解决你最后的疑虑

为什么需要游标分批处理？

当你的业务表达到百万级数据，执行SELECT * FROM orders时，PHP脚本会瞬间暴涨至500MB以上内存，这是因为传统query()方法默认将所有结果集加载到内存，游标（Cursor）的核心价值在于：它不一次性获取全部数据，而是按需逐行/逐块读取,让内存占用始终维持在恒定低水位。

根据MySQL官方文档，MYSQLI_STORE_RESULT与MYSQLI_USE_RESULT的区别正是内存策略的分水岭，后者模拟游标行为,但需要更严格的资源管理。

PHP游标机制深度解析

• MySQL原生游标：存储过程内使用DECLARE cur CURSOR，但PHP侧无法直接操控,需要封装在存储过程中。
• PDO模拟游标：PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false 开启无缓冲查询，配合fetch()逐行获取。
• Swoole/Workerman协程游标：高级场景下利用协程挂起,实现非阻塞式逐条处理。

以PDO为例,关键代码呈现：

$pdo = new PDO($dsn, $user, $pass, [
    PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false
]);
$stmt = $pdo->query('SELECT * FROM large_table');
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
    // 处理单行数据，内存峰值控制在10MB以内
}

三种主流分批方案对比

最佳实践：游标+生成器组合

将游标封装在生成器内，既能保持低内存,又能复用逻辑：

function yieldRows(PDO $pdo, string $sql): Generator {
    $stmt = $pdo->query($sql);
    while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
        yield $row;
    }
    $stmt->closeCursor(); // 关键：释放连接
}
foreach (yieldRows($pdo, 'SELECT * FROM big_table') as $row) {
    // 延迟处理：写文件/发送队列/API调用
}

这种模式下，即便处理10万行数据，内存峰值仍然低于1MB（验证方法：memory_get_peak_usage()）。

常见坑与性能调优

• 锁等待：无缓冲查询期间，同表写入会被阻塞，建议使用SELECT ... FOR UPDATE时配合短事务。
• 超时控制：set_time_limit(0)仅适用于CLI，FastCGI下需调整fastcgi_read_timeout。
• 网络缓冲：MySQL服务端需设置net_buffer_length,否则数据积压在TCP层。
• 索引必要性：游标处理慢的根本原因是全表扫描,务必确保WHERE条件配合索引。

高频问答（FAQ）

问：游标处理与内存表（MEMORY）有什么区别？
答：内存表是物理存储策略，而游标是读取策略，用游标处理磁盘表同样高效，且不受内存表容量限制（默认16MB）。

问：游标分批能否与Redis管道结合实现高速导入？
答：完全可以，游标逐行读，管道批量写，注意单批积压5000条后flush一次,平衡网络IO与内存。

问：如果游标查询中途报错，如何处理已读取数据？
答：建议外层包裹try-catch，在finally中执行$stmt->closeCursor()，并利用日志记录最后处理的主键ID,实现断点续传。

通过本文的深挖，你应该已经掌握游标分批处理的核心精髓，实际生产中，配合explain分析查询计划，再结合生成器的惰性求值，大数据量PHP脚本的内存噩梦将彻底终结，动手改造你的第一个百万级导出脚本吧,你会惊叹于内存表的触底表现。