隐私计算性能测试基准

本文目录导读：

1. 为什么需要专门的基准？
2. 核心性能指标（Key Metrics）
3. 主流基准测试框架与工具
4. 标准化组织与公开数据集
5. 进行测试时的最佳实践建议

这是一个非常专业且重要的问题，由于隐私计算（如多方安全计算、联邦学习、可信执行环境）涉及大量的密码学运算和通信开销，性能测试基准的制定一直是一个难点和热点。

目前业界和学术界还没有一个像 BenchmarkSQL 那样被普遍接受的大一统标准，但有许多针对特定技术路线（如MPC、FL、TEE）或特定场景的基准测试框架和方法。

以下是对隐私计算性能测试基准的详细拆解，包括核心指标、主流基准工具与测试集、以及选型建议。

为什么需要专门的基准？

隐私计算（PrivC）的性能瓶颈与传统计算完全不同：

• 算力开销大： 同态加密、不经意传输等操作比明文计算慢几个数量级。
• 网络成为瓶颈： 多方安全计算中的频繁交互和大量数据传输常常比CPU计算更耗时间。
• 场景依赖性强： 参与方数量、数据量、安全模型（半诚实/恶意）对性能影响巨大。

一个好的基准需要统一衡量计算和通信的权衡。

核心性能指标（Key Metrics）

在进行测试时,必须记录以下关键指标：

1. 总执行时间（Wall-clock Time）： 最直观的指标,从任务提交到结果返回的端到端耗时。
2. 吞吐量（Throughput）： 单位时间内处理的请求或数据量（如：每秒处理多少条SQL查询，或每秒进行多少次逻辑回归拟合迭代）。
3. 延迟（Latency）： 单个计算操作的响应时间（如：一次安全比较、一次乘法运算）。
4. 通信量（Communication Volume）： 所有参与方之间交换的总数据量（单位：MB/GB）。这是隐私计算的核心指标，很多时候通信是瓶颈。
5. 通信轮数（Communication Rounds）： 协议执行过程中，参与方之间需要等待交互的次数，轮数越少,对高延迟网络越友好。
6. 内存/CPU峰值（Peak Memory/CPU）： 衡量硬件资源消耗，特别是TEE环境下对SGX/TrustZone的容量限制。

主流基准测试框架与工具

根据不同的技术路线,以下是目前业界和学术界比较认可的基准测试方案：

多方安全计算（MPC）基准

这是目前发展最成熟的领域，主要测试秘密共享、混淆电路、不经意传输等协议的性能。

• ABY / ABY2.0 / MOTION：
  • 特点： 学术界的标杆，提供了多种MPC协议的实现（如布尔电路、算术电路、混合协议）。
  • 常用于测试基本算子（加法、乘法、比较）在不同网络延迟和带宽下的表现,以及评估从算术共享到布尔共享的转换开销。
  • 缺点： 偏向底层，对上层应用（如SQL）支持较弱,需要自行包装。
• MP-SPDZ（多处理器安全动态零点知识框架）：
  • 地位： 目前学术界功能最全面的MPC框架,被广泛用于发表论文时的性能比对。
  • 支持半诚实/恶意安全模型（包括多种协议）、固定点/浮点运算、离线/在线阶段分离测试。
  • 优势： 提供了标准化的测试脚本和数据集接口（如内置了糖尿病数据集等）。
  • 缺点： 性能不是最优（为了通用性牺牲了优化）,配置复杂。
• 企业级产品测试（如：蚂蚁集团隐语、华控清交、矩阵元等）：
  • 特点： 这是实际落地最关注的基准，需要关注的是其SQL能力。
  • 测试方法：
    • TPC-H 简化版： 将TPC-H的查询（如Q1、Q6）翻译成MPC-SQL,测试其处理复杂聚合查询的能力。
    • Join操作： 测试大表之间的安全Join性能（这是真实场景的痛点）。

联邦学习（FL）基准

联邦学习与TEE/MPC不同，它侧重于分布式机器学习,通信和模型聚合是核心。

• TensorFlow Federated (TFF) / PySyft：
  • 测试不同数据分布（IID/Non-IID）下的模型收敛速度、通信轮数、每轮通信量。
  • 基准测试： 在标准的图像数据集（MNIST、CIFAR-10、CIFAR-100）和NLP数据集（如Shakespeare）上，对比其准确性损失（Accuracy Loss）相对于明文训练的差异,以及达到相同精度所需的训练时间。
• LEAF 基准：
  • 地位： 联邦学习领域最权威的基准测试框架。
  • 包含多个真实世界数据集（如FEMNIST、Reddit、CelebA），并自动模拟Non-IID数据分布，它输出的是模型质量（精度、F1分数）和系统性能（训练时间、通信轮数）的综合报告。
• 企业级测试： 主要关注安全聚合的开销。
  • 方法： 对比不使用安全聚合（明文聚合）和使用安全聚合（基于秘密共享或同态加密）时，每轮的耗时差异，通常安全聚合会增加10%~30%的开销。

可信执行环境（TEE）基准

TEE的性能接近明文,主要受内存带宽和Enclave切换开销影响。

• Intel SGX SDK 自带的性能测试： 可以直接测试Enclave Entry/Exit的延迟、内存加密的吞吐量。
• OpenEnclave SDK / Asylo： 提供了一些微基准测试（Micro-benchmarks），用于测试RPC（远程过程调用）调用、加密/解密和远程证明（Remote Attestation）的性能。
• 实际应用场景测试：
  • 机器学习推理： 运行一个标准模型（如ResNet-50），对比在SGX内部和外部（明文）推理的吞吐量，瓶颈通常在内存分页（EPC缺失导致页面交换）。
  • 数据库操作： 在SGX Enclave内运行SQLite或MySQL，测试其CRUD（增删改查）性能，重点是内存限制（Enclave可用内存通常只有几十MB到几百MB）。

标准化组织与公开数据集

目前没有ISO标准,但以下组织在推动标准化：

1. IEEE SA（标准协会）： 有工作组在制定隐私计算互操作性及性能评估标准（如P2842、P2843），但尚在草稿阶段,未大规模推行。
2. 中国信通院（CAICT）的“可信隐私计算”评测：
   • 地位： 国内事实上的行业标准。
   • 测试方法： 他们会要求厂商参加性能白盒/黑盒测试，通常提供统一的数据集（如100万条用户交易数据），测试安全求交（PSI）、联合统计、联合建模等场景下的耗时和资源消耗。
   • 关注点： 特别关注大尺寸数据（10万级、100万级）和高安全等级（恶意安全模型）下的性能表现。
3. 论文中的常见数据集：
   • PSI（隐私集合求交）： 使用包含ID和属性的合成数据，测试不同集合大小（1K、10K、100K、1M）下的求交时间。
   • 联合统计： 测试计算平均值、方差、协方差矩阵的性能。
   • 联合建模： 使用标准ML数据集（如Bank Marketing Data Set）测试逻辑回归或XGBoost（极端梯度提升）的收敛速度。

进行测试时的最佳实践建议

如果你需要进行实际的性能测试,建议遵循以下步骤：

1. 明确测试目标： 是在对比不同厂商的产品，还是在对比不同的加密算法？目标不同,测试方法完全不同。
2. 控制变量，尤其是网络环境：
   • 如果是模拟跨机构场景，建议在网络交换机或云平台上设置延迟（如10ms, 50ms, 100ms） 和带宽限制（如100Mbps, 1Gbps）,这是隐私计算测试中最容易被忽略但又最关键的一环。
3. 标准化数据集： 使用固定规模、固定数据分布的公开或合成数据集（如信通院推荐的数据集）。
4. 区分“离线阶段”和“在线阶段”： MPC协议通常有预计算（离线）过程，一个好的基准应该报告：
   • Offline Time（离线时间 / 预处理时间）
   • Online Time（在线时间 / 实时响应时间）
   • Total Time（总时间）
5. 记录“精度损失”： 特别是对于联邦学习和同态加密，由于使用了定点数或浮点数近似，结果可能与明文计算有微小偏差，基准需要同时报告精度和性能。

一个重要的实操建议： 在对两个不同的隐私计算产品进行横向对比时，不要只看总时间，强烈建议要求对方提供“通信量”和“通信轮数”这两个指标，因为时间会随着网络环境变化，而通信量和轮数直接反映了该协议的底层设计优劣,具有更强的可复现性和参考价值。