Python案例如何用Word2Vec词向量

wen python案例 2026-07-16 2

本文目录导读：

目录导读
Word2Vec核心概念速览
案例背景与数据准备
Python环境搭建与库安装
基于Gensim的Word2Vec模型训练
模型效果评估：相似词与向量可视化
高频问题解答（FAQ）
SEO优化建议与延伸阅读

Python实战案例：如何用Word2Vec词向量实现文本语义分析（附完整代码）

目录导读

Word2Vec核心概念速览
案例背景与数据准备
Python环境搭建与库安装
基于Gensim的Word2Vec模型训练
模型效果评估：相似词与向量可视化
高频问题解答（FAQ）
SEO优化建议与延伸阅读

Word2Vec核心概念速览

Q1：Word2Vec是什么？
A：Word2Vec是Google于2013年开源的一种将单词映射为稠密向量的技术，核心思想是通过上下文预测目标词（CBOW）或用目标词预测上下文（Skip-gram），从而让语义相近的词在向量空间中位置相近。

Q2：为什么要用词向量而非传统One-hot？
A：One-hot编码维度灾难严重且无法表达词间关系（“苹果”与“香蕉”的余弦相似度为零），而Word2Vec的300维向量能捕捉“国王-王后≈男人-女人”这类类比关系。

案例背景与数据准备

本案例选取中文维基百科语料（约20万条摘要），预处理后训练Word2Vec模型，最终演示同义词查询和语义相似度计算。

数据下载与清洗

import jieba  
import re  
# 原始文本示例  
text = "人工智能是计算机科学的一个分支，它企图了解智能的实质"  
# 分词+去停用词  
words = jieba.lcut(text)  
clean_words = [w for w in words if w not in stop_words and len(w) > 1]

注意：中文需额外处理全角符号、数字和单字词。

Python环境搭建与库安装

pip install gensim jieba numpy matplotlib scikit-learn

Gensim是当前最成熟的Word2Vec实现，支持多线程训练和模型持久化。

基于Gensim的Word2Vec模型训练

核心代码示例

from gensim.models import Word2Vec  
from gensim.models.word2vec import LineSentence  
# 假设预处理后的文件为 "wiki_clean.txt"，每一行为分词后的句子  
sentences = LineSentence("wiki_clean.txt")  
model = Word2Vec(  
    sentences,  
    vector_size=200,       # 向量维度  
    window=5,              # 上下文窗口  
    min_count=5,           # 忽略低频词  
    workers=4,             # 并行线程  
    sg=1,                  # 1=Skip-gram, 0=CBOW  
    epochs=10  
)  
model.save("w2v_model.bin")

参数调优建议：

小语料（<1万句）使用CBOW，大语料（>10万句）使用Skip-gram
窗口大小设为3-5可捕获局部语义，设为8-10可捕获主题特征

模型效果评估：相似词与向量可视化

1 查询相似词

model.wv.most_similar("人工智能", topn=10)  
# 输出示例：[("机器学习", 0.88), ("深度学习", 0.85), ("算法", 0.79)...]

2 计算语义类比

result = model.wv.most_similar(positive=["北京", "华盛顿"], negative=["中国"])  
# 预期输出类似 "美国"

3 t-SNE降维可视化

from sklearn.manifold import TSNE  
words = ["中国","美国","北京","华盛顿","苹果","香蕉","电脑","手机"]  
vectors = [model.wv[w] for w in words]  
tsne = TSNE(n_components=2)  
coords = tsne.fit_transform(vectors)  
# 使用matplotlib绘图即可看到“国家-首都”和“水果”的聚类

效果解读：若聚类明显，说明模型语义捕获能力合格。