本文目录导读:

多源数据融合的实用脚本,核心思路是先对齐、再关联、后综合,下面按工程实践给出可落地的架构和脚本示例。
整体融合流程
多源数据接入 → 数据清洗 → 实体对齐/主键关联 → 特征融合 → 综合计算 → 输出
关键难点在三处:主键不一致、时间粒度不同、量纲/缺失不统一。
通用融合脚本骨架(Python)
import pandas as pd
import numpy as np
# 1. 多源读取
def load_sources():
return {
"crm": pd.read_csv("crm.csv"), # 客户主数据
"orders": pd.read_csv("orders.csv"), # 交易流水
"logs": pd.read_json("behavior.jsonl", lines=True), # 行为日志
}
# 2. 清洗 + 统一主键
def clean(df, id_col, time_col=None):
df = df.drop_duplicates(subset=[id_col])
df[id_col] = df[id_col].astype(str).str.strip().str.lower()
if time_col:
df[time_col] = pd.to_datetime(df[time_col], errors="coerce")
return df
# 3. 聚合到统一粒度(如"客户-日")
def aggregate(df, key, time_col, value_cols, freq="D"):
df["period"] = df[time_col].dt.to_period(freq).dt.start_time
agg = df.groupby([key, "period"])[value_cols].agg(["sum", "mean", "count"])
agg.columns = ["_".join(c) for c in agg.columns]
return agg.reset_index()
# 4. 多源关联(以主键 + 时间窗融合)
def fuse(sources):
crm = clean(sources["crm"], "customer_id")
orders = aggregate(sources["orders"], "customer_id", "order_time",
["amount"], "D")
logs = aggregate(sources["logs"], "customer_id", "event_time",
["duration"], "D")
merged = orders.merge(logs, on=["customer_id", "period"], how="outer")
merged = merged.merge(crm, on="customer_id", how="left")
return merged
# 5. 综合评分(归一化加权)
def composite_score(df, weights):
score = 0
for col, w in weights.items():
s = df[col].fillna(df[col].median())
s = (s - s.min()) / (s.max() - s.min() + 1e-9) # min-max归一
score = score + w * s
df["composite"] = score
return df
if __name__ == "__main__":
data = load_sources()
fused = fuse(data)
fused = composite_score(fused, {
"amount_sum": 0.4,
"duration_sum": 0.3,
"duration_count": 0.3,
})
fused.to_parquet("fused_output.parquet")
融合的四种典型模式
| 模式 | 适用场景 | 实现手段 |
|---|---|---|
| 主键关联 | 结构化数据间 | merge/join on id |
| 时间窗对齐 | 日志/流水/传感器 | 按 period 聚合后 join |
| 实体对齐 | 主键不一致(如手机号 vs 用户ID) | 映射表 / 模糊匹配 / 图连通 |
| 特征拼接 | 异构特征综合 | 归一化后加权/模型融合 |
融合中的关键处理
- 主键对齐:建一张 ID 映射表(
id_mapping.csv),脚本先做map再 join。 - 时间粒度统一:低频数据前向填充(
ffill),高频数据先聚合再对齐。 - 缺失与量纲:数值型用中位数填充 + MinMax/Z-score;分类型用 one-hot 或频次编码。
- 冲突消解:同一实体多源取值冲突时,按"可信度权重"或"时间最新"裁决。
- 综合方法:
- 规则加权:
Σ w_i * norm(x_i)(可解释) - 模型融合:多源特征拼接后训练(如 GBDT)
- 证据融合:D-S 证据理论(不确定性场景)
- 规则加权:
工程化建议
- 分层脚本:
ingest.py/align.py/fuse.py/score.py,每层可独立测试。 - 配置驱动:把主键、时间列、权重写进
config.yaml,避免硬编码。 - 中间落盘:每步输出 parquet,便于回溯和断点重跑。
- 质量校验:融合前后统计行数、主键覆盖率、缺失率,写入日志。
如果你告诉我具体的数据源类型(如 Excel + API + 数据库)和融合目标(报表/评分/预测),我可以给出更贴合的脚本。
直播入口
曼联直播曼联直播曼联直播曼联直播曼联直播利物浦直播利物浦直播利物浦直播利物浦直播利物浦直播巴萨直播巴萨直播巴萨直播巴萨直播巴萨直播U17直播U17直播U17直播U17直播U17直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播曼联直播曼联直播曼联直播曼联直播曼联直播利物浦直播利物浦直播利物浦直播利物浦直播利物浦直播巴萨直播巴萨直播巴萨直播巴萨直播巴萨直播U17直播U17直播U17直播U17直播U17直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播曼联直播曼联直播曼联直播曼联直播曼联直播利物浦直播利物浦直播利物浦直播利物浦直播利物浦直播巴萨直播巴萨直播巴萨直播巴萨直播巴萨直播U17直播U17直播U17直播U17直播U17直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播曼联直播曼联直播曼联直播曼联直播曼联直播利物浦直播利物浦直播利物浦直播利物浦直播利物浦直播巴萨直播巴萨直播巴萨直播巴萨直播巴萨直播U17直播U17直播U17直播U17直播U17直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播曼联直播曼联直播曼联直播曼联直播曼联直播利物浦直播利物浦直播利物浦直播利物浦直播利物浦直播巴萨直播巴萨直播巴萨直播巴萨直播巴萨直播U17直播U17直播U17直播U17直播U17直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播尤文图斯直播