r语言情感分析_r语言情感分析词典
信息来源:互联网 发布时间:2025-05-04
Part5情感分析这是这个系列里面最后一篇文章了,其实这里文本挖掘每一个部分单拎出来都是值得深究和仔细研究的,我还处于初级研究阶段,用R里面现成的算法,来实现自己的需求,当然还参考了众多网友的智慧结晶,所以也想把我的收获总结出来分享给大家,
Part5情感分析这是这个系列里面最后一篇文章了,其实这里文本挖掘每一个部分单拎出来都是值得深究和仔细研究的,我还处于初级研究阶段,用R里面现成的算法,来实现自己的需求,当然还参考了众多网友的智慧结晶,所以也想把我的收获总结出来分享给大家,希望也能像我一样在看大家的分享时得到自己的启发。
网上翻了下中文文本情感分析的一些文章,再回想了一下我自己做情感分析的方法,觉得我的想法真的是简单粗暴直接这是一篇介绍中文文本情感分析倾向的论文http://wenku.baidu.com/link?url=。
TVf5LgNS6esnunpgubvM14z24m0f4lTyD483gw_hEnp2RyeL6XzanSlz8oCcZCFlwKLqD0PdBhVUcV4-0loTdGp3hL-kqeTTwJ3l91HfTa3,中间讲到做情感分析目前主要有三种方法。
第一种由已有的电子词典或词语知识库扩展生成情感倾向词典;第二种,无监督机器学习的方法第三种基于人工标注语料库的学习方法上面三种方法不仔细一一说明了,它们都有一个共同的特点,需要一个情感倾向的语料库我在R中的实现方案与第一种方法类似,。
整理一 个褒义词词库一个贬义词词库(这个万能的互联网上有自己稍加整理就OK)给文本做分词,并提取出中间的情感词给每条文本定情感倾向评分初始值为1,跟 褒义贬义词词库做匹配,褒义词+1,贬义词-1,计算出每条文本的最终情感倾向评分,为正值则是正面评价,为负值则是负面评价。
方法可 以基本实现情感倾向判断,但还可以改进像前面参考论文中讲到的,还可以根据词语的词性强弱来评定感情的强,不只是+1和-1之分;还有考虑一些词语在不 同语境下情感倾向可能会不同,比如论文中讲到的“骄傲”,这个我在想可能需要整理出有这样特殊情况的词语;还有负负得正的情况,比如“不喜欢是不可能的事 情!”,照我的评分标准它的结果就是负面评价了;反问的情况,“哪里便宜了?”,评出来结果变成了正。
“便宜”这个词我把它放在褒义词表下,其实仔细考虑 如果是说“便宜实惠”肯定是褒义,如果说“便宜没好货”,也会是褒义,这就不对了,还是第二个问题不同语境下情感倾向会不同R中的实现过程:1. 数据输入处理数据还是某品牌官微,取它微博中的1376条评论,情感褒义词库和贬义词库,将数据读入到R中。
附词库下载地址:http://www.datatang.com/data/44317/,可能不是很全,需要自己整理丰富,我在看服装相关的文本时,发现有些词像“褪色”,“开线”,“显瘦”,“显胖”都没有在里面,这些就需要自己另外加进去。
> hlzj.comment negative <-readLines("D:\\R\\RWorkspace\\hlzjWorkfiles\\negative.txt")
> positive length(hlzj.comment)[1] 1376
> length(negative)[1] 4477> length(positive)[1] 55882. 对评论做分词处理并评级过程类似Part2中讲到的分词处理然后我自己写了个方法getEmotionalType,将分词结果与negative表和positive表作对照计算得分。
> commentTemp <- gsub("[0-90123456789 ~]","",hlzj.comment)> commentTemp commentTemp[1:2]
[[1]][1] "恭喜""大家""又" "没有" "找到" "俺" [[2]][1] "没有" "私信" "給" "我" "小编" "把" "我" "给" "漏" "了" > EmotionRank <-getEmotionalType(commentTemp,positive,negative)
[1] 0.073[1] 0.145[1] 0.218[1] 0.291[1] 0.363[1] 0.436[1] 0.509[1] 0.581[1] 0.654[1] 0.727[1] 0.799[1] 0.872
[1] 0.945> EmotionRank[1:10][1] 1 0 2 1 1 2 3 1 0 0> commentEmotionalRank <-list(rank=EmotionRank,comment=hlzj.comment)
> commentEmotionalRank fix(commentEmotionalRank)getEmotionalType <- function(x,pwords,nwords){
emotionType <-numeric(0) xLen <-length(x) emotionType[1:xLen]<- 0 index <- 1 while(index <=xLen){
yLen <-length(x[[index]]) index2 <- 1 while(index2= 1){
emotionType[index] = 1){
emotionType[index] <- emotionType[index] - 1 } index2<- index2 + 1 } #获取进度 if(index%%100==0){ print(round(index/xLen,3))
} index <-index +1 } emotionType } 查看到结果如下,第一个图里看着还挺正常的,第二个图好像是hlzj赞助的RM里出现了衣服被撕坏的时候的评论没有黑他们家的意思,只是想找个例 子来说明下差评的效果,好像不是很理想。
那些反问的话无法识别判断,还有一些比较口语化的“醉了”,“太次”这样的词没有放到情感词库里,对这些评论的情 感倾向识别效果不是很好
像前面说的,方法有待改进,我的方法只是一个最基础的情感分析的实现方式,有任何问题欢迎指正。
免责声明:本站所有信息均搜集自互联网,并不代表本站观点,本站不对其真实合法性负责。如有信息侵犯了您的权益,请告知,本站将立刻处理。联系QQ:1640731186

