使用SO-PMI算法构建行业/专业情感词典

1. 情感词典内容

1. 情感词典构建方法归为三类, 分别是: 词关系扩展法、迭代路径法和释义扩展法
2. 情感极性：正向、负向；表示正面情感(开心愉快)或负面情感(伤心愤怒)
3. 情感极值：情感倾向（微笑、开怀大笑、手舞足蹈虽然都可以表示开心，但有不一样的极值，表示情绪的表现程度）

2. 情感倾向点互信息算法（SO-PMI）算法

这个算法比较直白：包含两个部分，一个是PMI，一个是SO-PMI

点互信息算法 PMI

$word1$，$word2$ 表示两个不同的词，$P_{word1}$ 表示在整个语料库中 $word1$ 出现的概率，一般认为：

1. PMI > 0 表示两个词语是相关的，值越大，相关性越强 2. PMI = 0 表示两个词语是统计独立的 3. PMI < 0 表示两个词语是不相关的，互斥的 

PMI算法用一句话形容就是：两个词同时出现的概率越大，其相关性越大

情感倾向点互信息算法 SO-PMI

$P_{word}$ 指一个基准词，$P_w$指基准词列表，$word$ 指随便一个词；

SO-PMI的基本思想是：有两个情感倾向的列表，一个是正向的情感词，一个是负向的情感倾向。计算每个词与这两个列表中的每个词的PMI，看这个词更接近哪个列表，是更接近正向情感词列表还是负向情感词列表。即：

SO-PMI值> 0，表示这个词更接近正向，即褒义词 SO-PMI值 = 0，表示这个词为中性词 SO-PMI值 < 0，表示这个词更像是负面词，即贬义词 

一句话形容这个算法：判断一个词更倾向于与积极词一起出现，还是与消极词一起出现。

3. 构建情感词典

参考Github项目：https://github.com/liuhuanyong/SentimentWordExpansion

1. 导入项目

在python环境中安装依赖：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ jieba 

然后使用git导入项目：

git clone :liuhuanyong/SentimentWordExpansion.git 

导入项目后直接运行SOPMI.py文件就可以运行案例了。构建自己的情感词典，需要替换data/文件夹下的train.txt语料库与sentiment_words.txt情感种子词，或是修改SOPMI.py文件中的构造函数：

 def __init__(self): self.train_path = './data/train.txt' # 需要提供的训练数据语料库 self.sentiment_path = './data/sentiment_words.txt' # 需要提供的情感种子词列表 self.candipos_path = './data/candi_pos.txt' # 输出的正向词列表 self.candineg_path = './data/candi_neg.txt' # 输出的负向词列表 

2. 构建情感种子词

在SO-PMI算法中提供基准词 $P_{word}$ 的词称为情感种子词，需要自定义，种子词的构建直接决定了最后的效果。

从预料中选择一些主观上明显感觉这个词有强烈的情感倾向的词，然后按照种子词的格式罗列下来就行。种子词的列表格式是一个词\t情感倾向\n，其中情感倾向有pos正向/积极 与 neg负向/消极，例：

解决 pos 尊敬 pos 问题 neg 严重 neg 投诉 neg 噪音 neg 

博主这里提供一个构建情感种子词的工具类，方便将看着像这种格式，但是并没有用\t切分的文件转换成能直接输入的格式：

file = open('my_sentiment_words.txt', 'a') for line in open('data/sentiment_words.txt'): line_list = line.strip().split(' ') # 词与情感倾向之间用空格切分，没有用\t切分 file.write(line_list[0] + '\t' + line_list[1] + '\n') file.flush() file.close() 

3. 使用TF-IDF方便构建情感种子词

自己去从海量的文本中找有明显情感倾向的词这也太硬核了！所以借助TF-IDF构建会方便很多。TF-IDF的算法这里就不展开了，直接上代码：

import jieba # 分词器 import jieba.analyse import pandas as pd def tfidf_ana(content): title_keys = jieba.analyse.extract_tags(content, topK=700, withWeight=False) # topK为期望得到的关键词个数 with open('tf_idf_words.txt', 'a') as file: for i in title_keys: file.write(i + '\n') file.flush() file.close() if __name__ == '__main__': answer_df = pd.read_csv('../coment_answer.csv') answer_list = answer_df['content'].to_list() answer_str = '' for k in answer_list: answer_str += str(k) data = tfidf_ana(answer_str) 

在tf_idf_words.txt这个文件中会借助TF-IDF输出700个词，从700个词中挑选情感种子词总比从语料库中找方便吧。输出格式：

拆迁 需求 附近 纠纷 受理 催促 

4. 构建专业词典的效果与使用方法

以输出的candi_pos.txt为例，这些内容包括词语,pmi值,情感极性,词的长度,词性，使用情感词典时可以把所有词的权重定为1，也可以使用pmi值作为权重，来判断一句话的整体情感。

简单化,102.92,pos,3,v 不辞辛苦,99.404,pos,4,i 心怀,99.684,pos,2,n 祝愿,84.869,pos,2,v 人民大众,83.094,pos,4,nt 适时,82.465,pos,2,ad 欣喜,81.502,pos,2,a 密切,78.579,pos,2,ad 辛勤工作,77.869,pos,4,n 

5. 其他说明

按照如上所述，替换掉案例中data/文件夹下的train.txt语料库与sentiment_words.txt情感种子词后，运行SOPMI.py即可得到预期效果。如果有报错请检查情感种子词格式每一行是否中间是用\t切分，结尾是否用\n换行。

在这个项目中collect_cowords函数中有一个参数词共现窗口window_size，可自行指定