文本分析案例-基于R
天涯明月
2022-12-04
基于R语言的文本分析
本文主要是通过R语言相关包对文本文档进行分析。主要包括语料库构建，文档分词，文字搜索，文档矩阵化，词云图，特征共现矩阵，文档相似度，词相似度和词关联性分析等。具体实现代码以及结果如下：
首先加载需要的程序包
library(readtext)
library(scales)
library(tidyverse)
library(quanteda)
library(quanteda.textplots)
library(quanteda.textstats)
library(quanteda.textmodels)readr::guess_encoding("./sogouyuliao/互联网/10.txt") #查看文档编码## # A tibble: 4 × 2
## encoding confidence
## <chr> <dbl>
## 1 GB18030 1
## 2 EUC-JP 0.71
## 3 EUC-KR 0.51
## 4 Big5 0.38list.dirs("./sogouyuliao")[-1] #文档所在位置## [1] "./sogouyuliao/财经" "./sogouyuliao/互联网" "./sogouyuliao/健康"
## [4] "./sogouyuliao/教育" "./sogouyuliao/军事" "./sogouyuliao/旅游"
## [7] "./sogouyuliao/体育" "./sogouyuliao/文化" "./sogouyuliao/招聘"docs <- readtext(list.dirs("./sogouyuliao")[-1], encoding = "GB18030") #读取语料库
docs## readtext object consisting of 17910 documents and 0 docvars.
## # Description: df [17,910 × 2]
## doc_id text
## <chr> <chr>
## 1 财经/10.txt/10.txt "\" 本报记者陈雪频实\"..."
## 2 财经/100.txt/100.txt "\" 证券通：百联\"..."
## 3 财经/1000.txt/1000.txt "\" 5月09日消\"..."
## 4 财经/1001.txt/1001.txt "\" 5月09日消\"..."
## 5 财经/1002.txt/1002.txt "\" 5月09日消\"..."
## 6 财经/1003.txt/1003.txt "\" 5月09日消\"..."
## # … with 17,904 more rowsdoc_corpus <- corpus(docs) #创建语料库
docvars(doc_corpus, "类别") <- rep(c("财经", "互联网", "健康", "教育",
"军事", "旅游", "体育", "文化", "招聘"), each = 1990)
summary(doc_corpus)## Corpus consisting of 17910 documents, showing 100 documents:
##
## Text Types Tokens Sentences 类别
## 财经/10.txt/10.txt 558 1346 45 财经
## 财经/100.txt/100.txt 167 257 10 财经
## 财经/1000.txt/1000.txt 188 268 10 财经
## 财经/1001.txt/1001.txt 188 268 10 财经
## 财经/1002.txt/1002.txt 197 315 8 财经
## 财经/1003.txt/1003.txt 188 268 10 财经
## 财经/1004.txt/1004.txt 476 1145 33 财经
## 财经/1005.txt/1005.txt 652 1590 45 财经
## 财经/1006.txt/1006.txt 476 1145 33 财经
## 财经/1007.txt/1007.txt 476 1145 33 财经
## 财经/1008.txt/1008.txt 476 1145 33 财经
## 财经/1009.txt/1009.txt 418 824 24 财经
## 财经/101.txt/101.txt 295 649 14 财经
## 财经/1010.txt/1010.txt 418 824 24 财经
## 财经/1011.txt/1011.txt 418 824 24 财经
## 财经/1012.txt/1012.txt 418 824 24 财经
## 财经/1013.txt/1013.txt 488 1233 35 财经
## 财经/1014.txt/1014.txt 495 1046 34 财经
## 财经/1015.txt/1015.txt 495 1046 34 财经
## 财经/1016.txt/1016.txt 495 1046 34 财经
## 财经/1017.txt/1017.txt 495 1046 34 财经
## 财经/1018.txt/1018.txt 433 844 25 财经
## 财经/1019.txt/1019.txt 433 844 25 财经
## 财经/102.txt/102.txt 134 267 6 财经
## 财经/1020.txt/1020.txt 433 844 25 财经
## 财经/1021.txt/1021.txt 433 844 25 财经
## 财经/1022.txt/1022.txt 433 844 25 财经
## 财经/1023.txt/1023.txt 248 409 7 财经
## 财经/1024.txt/1024.txt 248 409 7 财经
## 财经/1025.txt/1025.txt 248 409 7 财经
## 财经/1026.txt/1026.txt 202 460 15 财经
## 财经/1027.txt/1027.txt 406 836 20 财经
## 财经/1028.txt/1028.txt 406 836 20 财经
## 财经/1029.txt/1029.txt 433 844 25 财经
## 财经/103.txt/103.txt 210 400 14 财经
## 财经/1030.txt/1030.txt 406 836 20 财经
## 财经/1031.txt/1031.txt 306 790 21 财经
## 财经/1032.txt/1032.txt 367 781 15 财经
## 财经/1033.txt/1033.txt 455 975 25 财经
## 财经/1034.txt/1034.txt 455 975 25 财经
## 财经/1035.txt/1035.txt 367 781 15 财经
## 财经/1036.txt/1036.txt 117 231 10 财经
## 财经/1037.txt/1037.txt 117 231 10 财经
## 财经/1038.txt/1038.txt 117 231 10 财经
## 财经/1039.txt/1039.txt 117 231 10 财经
## 财经/104.txt/104.txt 352 707 30 财经
## 财经/1040.txt/1040.txt 455 975 25 财经
## 财经/1041.txt/1041.txt 367 781 15 财经
## 财经/1042.txt/1042.txt 379 839 26 财经
## 财经/1043.txt/1043.txt 527 1175 31 财经
## 财经/1044.txt/1044.txt 527 1175 31 财经
## 财经/1045.txt/1045.txt 540 1546 39 财经
## 财经/1046.txt/1046.txt 540 1546 39 财经
## 财经/1047.txt/1047.txt 331 639 16 财经
## 财经/1048.txt/1048.txt 331 639 16 财经
## 财经/1049.txt/1049.txt 148 324 9 财经
## 财经/105.txt/105.txt 222 350 9 财经
## 财经/1050.txt/1050.txt 843 1906 72 财经
## 财经/1051.txt/1051.txt 286 657 14 财经
## 财经/1052.txt/1052.txt 538 1198 33 财经
## 财经/1053.txt/1053.txt 538 1198 33 财经
## 财经/1054.txt/1054.txt 317 519 8 财经
## 财经/1055.txt/1055.txt 538 1198 33 财经
## 财经/1056.txt/1056.txt 538 1198 33 财经
## 财经/1057.txt/1057.txt 317 519 8 财经
## 财经/1058.txt/1058.txt 317 519 8 财经
## 财经/1059.txt/1059.txt 538 1198 33 财经
## 财经/106.txt/106.txt 222 350 9 财经
## 财经/1060.txt/1060.txt 317 519 8 财经
## 财经/1061.txt/1061.txt 317 519 8 财经
## 财经/1062.txt/1062.txt 317 519 8 财经
## 财经/1063.txt/1063.txt 317 519 8 财经
## 财经/1064.txt/1064.txt 317 519 8 财经
## 财经/1065.txt/1065.txt 317 519 8 财经
## 财经/1066.txt/1066.txt 177 384 8 财经
## 财经/1067.txt/1067.txt 317 519 8 财经
## 财经/1068.txt/1068.txt 317 519 8 财经
## 财经/1069.txt/1069.txt 109 182 7 财经
## 财经/107.txt/107.txt 404 1137 32 财经
## 财经/1070.txt/1070.txt 317 519 8 财经
## 财经/1071.txt/1071.txt 421 985 24 财经
## 财经/1072.txt/1072.txt 421 985 24 财经
## 财经/1073.txt/1073.txt 345 700 21 财经
## 财经/1074.txt/1074.txt 345 700 21 财经
## 财经/1075.txt/1075.txt 364 740 15 财经
## 财经/1076.txt/1076.txt 234 425 9 财经
## 财经/1077.txt/1077.txt 364 740 15 财经
## 财经/1078.txt/1078.txt 234 425 9 财经
## 财经/1079.txt/1079.txt 520 1199 37 财经
## 财经/108.txt/108.txt 470 2491 28 财经
## 财经/1080.txt/1080.txt 141 199 6 财经
## 财经/1081.txt/1081.txt 520 1199 37 财经
## 财经/1082.txt/1082.txt 520 1199 37 财经
## 财经/1083.txt/1083.txt 520 1199 37 财经
## 财经/1084.txt/1084.txt 438 979 12 财经
## 财经/1085.txt/1085.txt 438 979 12 财经
## 财经/1086.txt/1086.txt 111 199 4 财经
## 财经/1087.txt/1087.txt 130 217 7 财经
## 财经/1088.txt/1088.txt 367 762 22 财经
## 财经/1089.txt/1089.txt 367 762 22 财经a <- summary(doc_corpus, n = 17910)
head(a)## Text Types Tokens Sentences 类别
## 1 财经/10.txt/10.txt 558 1346 45 财经
## 2 财经/100.txt/100.txt 167 257 10 财经
## 3 财经/1000.txt/1000.txt 188 268 10 财经
## 4 财经/1001.txt/1001.txt 188 268 10 财经
## 5 财经/1002.txt/1002.txt 197 315 8 财经
## 6 财经/1003.txt/1003.txt 188 268 10 财经a %>%
group_by(类别) %>%
summarise(types = sum(Types), sentences = sum(Sentences)) %>%
ggplot() + geom_col(aes(类别, types, fill = 类别), show.legend = F) + scale_y_continuous(labels = label_number())
下面进行分词：
doc_tokens <- tokens(doc_corpus, remove_punct = T, remove_numbers = T, remove_symbols = T)
doc_tokens1 <- tokens_select(doc_tokens, stopwords("zh", source = "misc"), selection = "remove")
doc_tokens2 <- tokens_select(doc_tokens1, stopwords("english"), selection = "remove")
mystopword <- read.table("停用词.txt")
head(mystopword, 100)## V1
## 1 nbsp
## 2 $
## 3 0
## 4 1
## 5 2
## 6 3
## 7 4
## 8 5
## 9 6
## 10 7
## 11 8
## 12 9
## 13 ?
## 14 .
## 15 _
## 16 “
## 17 ”
## 18 、
## 19 。
## 20 《
## 21 》
## 22 :
## 23 ;
## 24 <
## 25 =
## 26 >
## 27 >>
## 28 ?
## 29 @
## 30 A
## 31 Lex
## 32 [
## 33 \\
## 34 ]
## 35 ^
## 36 _
## 37 `
## 38 —
## 39 ——
## 40 ———
## 41 ‘
## 42 ’
## 43 ’‘
## 44 “
## 45 ”
## 46 ”，
## 47 …
## 48 ……
## 49 ①
## 50 ②
## 51 ②
## 52 ③
## 53 ④
## 54 ⑤
## 55 ⑥
## 56 ⑦
## 57 ⑧
## 58 ⑨
## 59 ⑩
## 60 ──
## 61 、
## 62 。
## 63 〈
## 64 〉
## 65 《
## 66 》
## 67 》），
## 68 」
## 69 『
## 70 』
## 71 【
## 72 】
## 73 〔
## 74 〕
## 75 〕〔
## 76 ㈧
## 77 一
## 78 一.
## 79 一一
## 80 一下
## 81 一个
## 82 一些
## 83 一何
## 84 一切
## 85 一则
## 86 一则通过
## 87 一天
## 88 一定
## 89 一方面
## 90 一旦
## 91 一时
## 92 一来
## 93 一样
## 94 一次
## 95 一片
## 96 一番
## 97 一直
## 98 一致
## 99 一般
## 100 一起doc_tokens3 <- tokens_select(doc_tokens2, mystopword$V1, selection = "remove")
as.character(doc_tokens3[1])## [1] "本报记者" "实习" "记者" "发自" "上海" "一家"
## [7] "刚刚" "成立" "网络" "支付" "公司" "目标"
## [13] "美元" "上市" "公司" "公司" "的是" "CEO"
## [19] "国光" "曾任" "高级" "副总裁" "负责" "上市"
## [25] "工作" "选择" "第三" "支付" "创业" "方向"
## [31] "媒体" "我能" "胡同" "对面" "只能" "胡同"
## [37] "自信" "狂妄" "一步" "几乎是" "创业" "特征"
## [43] "自信" "狂妄" "也许" "留待" "时间" "考证"
## [49] "美元" "上市" "公司" "百度" "上市" "广告"
## [55] "客户" "数量" "做的" "客户" "吸引" "支撑"
## [61] "现有" "庞大" "几年" "客户" "数量" "几千"
## [67] "客户" "都是" "带来" "利润" "美元" "一点"
## [73] "都不" "夸张" "公司" "年底" "注册" "用户"
## [79] "计划" "注册" "用户" "突破" "号称" "国内"
## [85] "第三" "网络" "支付" "平台" "美国" "支付"
## [91] "相关" "收入" "超过" "商业" "银行" "收入"
## [97] "总和" "查到" "数据" "美元" "超过" "消费"
## [103] "带来" "收入" "国光" "喜欢" "借用" "美国"
## [109] "支付" "产业" "现状" "中国" "情况" "美国"
## [115] "中国" "差异" "坚信" "中国" "第三" "支付"
## [121] "市场" "前景" "广阔" "便利" "挑战" "网络"
## [127] "支付" "只需要" "手机" "号码" "邮件" "地址"
## [133] "网络" "支付" "户外" "广告" "传统" "银行"
## [139] "账户" "网络" "支付" "习惯" "鲜明" "支付"
## [145] "模式" "传统" "网络" "支付" "本质" "区别"
## [151] "手机" "号码" "邮件" "地址" "背后" "都会"
## [157] "账户" "账户" "信用卡" "账户" "账户" "包括"
## [163] "邮局" "汇款" "手机" "代收" "电话" "代收"
## [169] "预付" "多种" "形式" "功能" "融合" "交易"
## [175] "工具" "VISA" "称为" "网络" "VISA" "国光"
## [181] "本质" "VISA" "采用" "底层" "技术" "差别"
## [187] "区别" "VISA" "面对" "交易" "工具" "单一"
## [193] "面对" "的是" "多种" "分散" "交易" "工具"
## [199] "信用" "网络" "支付" "一直是" "困扰" "中国"
## [205] "电子" "商务" "发展" "瓶颈" "网络" "支付"
## [211] "平台" "信用" "条件下" "产物" "众多" "银行"
## [217] "整合" "支付" "公司" "信用" "中介" "确认"
## [223] "收到" "商品" "买卖" "暂时" "货款" "知名"
## [229] "网络" "支付" "平台" "包括" "阿里巴巴" "支付"
## [235] "eBay" "Paypal" "国光" "第三" "支付" "平台"
## [241] "客户" "公司" "网络" "支付" "平台" "业务"
## [247] "公司" "不太" "公司" "同行" "用户" "选择"
## [253] "银行" "邮政" "汇款" "预付" "支付" "方式"
## [259] "平台" "人口" "支付" "工具" "覆盖" "创新"
## [265] "地方" "国光" "告诉" "第一" "财经" "日报"
## [271] "交易" "网上" "支付" "平台" "国光" "采用"
## [277] "机制" "保证" "用户" "资金" "机制" "用户"
## [283] "付款" "过程" "意外" "因素" "中止" "未完成"
## [289] "系统" "用户" "账户" "自动" "回复" "交易"
## [295] "原始" "状态" "建立" "一系列" "机制" "交易"
## [301] "系统" "强制" "暂停" "以供" "审查" "内部"
## [307] "财务" "遵守" "相互" "监督" "原则" "参与"
## [313] "主导" "交易" "全程" "交易" "识别" "有一套"
## [319] "交易" "过滤" "引擎" "识别" "交易" "增值"
## [325] "服务" "网络" "支付" "撒手" "国光" "平台"
## [331] "提供" "详细" "用户" "记录" "用户" "喜好"
## [337] "增值" "服务" "支付" "平台" "市场" "推广"
## [343] "公司" "市场" "推广" "目标" "用户" "品牌"
## [349] "精力" "核心" "策略" "主流" "捆绑" "致力"
## [355] "厂商" "合作" "大型" "门户" "用户" "资源"
## [361] "强迫" "用户" "网络" "支付" "交易" "过程"
## [367] "中的" "附加" "支付" "平台" "效果" "国光"
## [373] "策略" "交易" "捆绑" "依托" "用户" "电子"
## [379] "交易" "自然而然" "用到" "支付" "平台" "策略"
## [385] "稳定" "一批" "活跃" "用户" "目光" "放到"
## [391] "用户" "国光" "模式" "称为" "注册" "用户"
## [397] "支付" "交易" "往往会" "注册" "用户" "用户"
## [403] "之间" "互动" "网络" "效应" "创业" "商业"
## [409] "模式" "变化" "国光" "信誓旦旦" "他认为" "做了"
## [415] "面临" "更多" "竞争" "对手" "违背" "独立"
## [421] "第三" "支付" "平台" "市场" "定位" "未来"
## [427] "梦想" "支付" "工具" "整合" "接口" "流量"
## [433] "增加" "带来" "价值" "成本" "更低" "拥有"
## [439] "用户" "详细" "数据" "资料" "数据" "客户"
## [445] "提供" "增值" "服务" "支持" "客户" "促销"
## [451] "推广" "客户" "创造" "商业" "机会" "公司"
## [457] "美国" "DCM" "半岛" "基金" "风险" "投资"
## [463] "评估" "之中" "国光" "融资" "一件" "水到渠成"
## [469] "事情" "挑选" "条件" "一是" "中国" "投资"
## [475] "是在" "中国" "投资" "成功" "电子" "支付"
## [481] "行业" "入行" "生存" "行业" "国光" "企业"
## [487] "领域" "成功" "脚踏" "实地" "投机" "心理"ndoc(doc_tokens3)## [1] 17910kwic(doc_tokens3, pattern = "李白", valuetype = "regex") #查找跟李白相关的词语和文章## Keyword-in-context with 121 matches.
## [健康/1999.txt/1999.txt, 371] 反复 中国 历史 少有 聪明 | 李白 |
## [健康/466.txt/466.txt, 116] 都是 梦想 思考 梦中 好诗 | 李白 |
## [健康/466.txt/466.txt, 121] 李白 梦见 笔头 生花 才思敏捷 | 李白 |
## [教育/1087.txt/1087.txt, 502] 之中 潇洒 才子 湖北 考生 | 李白 |
## [教育/1087.txt/1087.txt, 590] 腐朽 尸体 就有 传颂千古 名字 | 李白 |
## [教育/1087.txt/1087.txt, 707] 浮出 水面 长风破浪 沧海 意气风发 | 李白 |
## [教育/1087.txt/1087.txt, 724] 多年 官场 生活 多年 游历 | 李白 |
## [教育/1087.txt/1087.txt, 785] 人生 哲学 便是 宇宙 人生 | 李白 |
## [教育/1087.txt/1087.txt, 794] 湖北 考生 全国 话题 忘记 | 李白 |
## [教育/1087.txt/1087.txt, 1042] 重庆 考生 菊花 时节 苏轼 | 李白 |
## [教育/1089.txt/1089.txt, 112] 现象 中国 古典 诗词 表现 | 李白 |
## [教育/1089.txt/1089.txt, 402] 孤独 悲伤 心境 景物 烘托 | 李白 |
## [教育/1089.txt/1089.txt, 747] 保证 令人 悲伤 往事 重演 | 李白 |
## [教育/1089.txt/1089.txt, 1107] 感情 表达 理想 诗词 有名 | 李白 |
## [教育/1360.txt/1360.txt, 86] 老者 仰天 大笑 出门 蓬蒿 | 李白 |
## [教育/1360.txt/1360.txt, 105] 痛苦 贵妃 力士 脱靴 都不是 | 李白 |
## [教育/1360.txt/1360.txt, 126] 必有 千金 做官 高于 年代 | 李白 |
## [教育/1360.txt/1360.txt, 223] 很有 说服 详略 得当 陶渊明 | 李白 |
## [教育/146.txt/146.txt, 230] 文章 漫漫 屈原 折腰 开心 | 李白 |
## [教育/1793.txt/1793.txt, 2405] 碧海 金瓯 白云 苍梧 为国牺牲 | 李白 |
## [教育/1963.txt/1963.txt, 419] 福建 夸张 修辞 手法 上海 | 李白 |
## [教育/1963.txt/1963.txt, 426] 瀑布 诗句 直下 三千 福建 | 李白 |
## [教育/1963.txt/1963.txt, 481] 连用 出山 高峻 陡峭 水流 | 李白 |
## [教育/1963.txt/1963.txt, 508] 仙境 神奇 想象 大胆 夸张 | 李白 |
## [教育/291.txt/291.txt, 55] 所用 材料 无非 屈原 陶渊明 | 李白 |
## [教育/306.txt/306.txt, 3081] 哪能 暴雨 狂风 可曾 方向 | 李白 |
## [教育/811.txt/811.txt, 32] 青衣 一身 以示 隐秘 神秘 | 李白 |
## [教育/811.txt/811.txt, 326] 一种 无情 表面上 红绿 黑色 | 李白 |
## [旅游/1994.txt/1994.txt, 83] 游记 写到 天台山 入口 相传 | 李白 |
## [旅游/1995.txt/1995.txt, 1048] 游记 写到 天台山 入口 相传 | 李白 |
## [旅游/632.txt/632.txt, 59] 建设 加快 世界 文化 古道 | 李白 |
## [旅游/660.txt/660.txt, 35] 伦敦 上海 之间 文化 交流 | 李白 |
## [旅游/741.txt/741.txt, 5] 成都 记者 投资 打造 | 李白 |
## [旅游/741.txt/741.txt, 7] 记者 投资 打造 李白 故居 | 李白 |
## [旅游/741.txt/741.txt, 17] 美国 日本 以色列 俄罗斯 国家 | 李白 |
## [旅游/741.txt/741.txt, 23] 诗歌 爱好 游客 前往 参观 | 李白 |
## [旅游/741.txt/741.txt, 32] 绵阳 之间 境内 唐代 清廉 | 李白 |
## [旅游/741.txt/741.txt, 42] 谐音 宋代 家乡 人为 纪念 | 李白 |
## [旅游/741.txt/741.txt, 47] 李白 清廉 改成 也就是 诗仙 | 李白 |
## [旅游/741.txt/741.txt, 61] 遗迹 众多 最能 完整 追溯 | 李白 |
## [旅游/741.txt/741.txt, 69] 地方 记者 四川省 近年 投入 | 李白 |
## [旅游/741.txt/741.txt, 72] 近年 投入 李白 故里 工程 | 李白 |
## [旅游/741.txt/741.txt, 74] 李白 故里 工程 李白 故居 | 李白 |
## [旅游/741.txt/741.txt, 81] 太白 公园 整体 提升 改造 | 李白 |
## [旅游/741.txt/741.txt, 84] 提升 改造 李白 纪念 全国 | 李白 |
## [旅游/741.txt/741.txt, 96] 休闲 度假 娱乐 一体 全国 | 李白 |
## [旅游/742.txt/742.txt, 25] 掌声 美国 日本 以色列 俄罗斯 | 李白 |
## [旅游/742.txt/742.txt, 27] 日本 以色列 俄罗斯 李白 四川 | 李白 |
## [旅游/742.txt/742.txt, 30] 李白 四川 李白 故居 吟诵 | 李白 |
## [旅游/742.txt/742.txt, 32] 李白 故居 吟诵 李白 诗词 | 李白 |
## [旅游/742.txt/742.txt, 54] 民族 心灵 相通 去年 接触到 | 李白 |
## [旅游/742.txt/742.txt, 57] 去年 接触到 李白 感觉 如故 | 李白 |
## [旅游/742.txt/742.txt, 81] 代表性 文化 名人 专家 考证 | 李白 |
## [旅游/742.txt/742.txt, 95] 留下 上千 直至 公元 病逝 | 李白 |
## [旅游/742.txt/742.txt, 107] 十种 语言 世界上 流传 喜欢 | 李白 |
## [旅游/742.txt/742.txt, 126] 巴西 巴西 相比 日本 广岛 | 李白 |
## [旅游/742.txt/742.txt, 137] 扇子 表演 博得 观众 掌声 | 李白 |
## [旅游/742.txt/742.txt, 142] 李白 日本 著名 同行 喜欢 | 李白 |
## [旅游/742.txt/742.txt, 152] 介绍 四川 绵阳 举办 国际 | 李白 |
## [旅游/742.txt/742.txt, 162] 日本 韩国 以色列 国家 地区 | 李白 |
## [旅游/742.txt/742.txt, 164] 以色列 国家 地区 李白 研究者 | 李白 |
## [旅游/845.txt/845.txt, 2] 诗人 | 李白 |
## [旅游/845.txt/845.txt, 204] 海拔 多米 位于 西安市 西部 | 李白 |
## [旅游/934.txt/934.txt, 73] 诗人 诗词 就有 唐代 诗人 | 李白 |
## [文化/1320.txt/1320.txt, 211] 重用 唐朝 著名 诗人 王维 | 李白 |
## [文化/1320.txt/1320.txt, 218] 亲密 交往 赞赏 洛中 送给 | 李白 |
## [文化/1320.txt/1320.txt, 221] 洛中 送给 李白 一件 日本 | 李白 |
## [文化/1320.txt/1320.txt, 239] 共乘 回国 途中 遭遇 风暴 | 李白 |
## [文化/1559.txt/1559.txt, 375] 和谐 感受 世界上 第二个 民族 | 李白 |
## [文化/1559.txt/1559.txt, 417] 姿态 中国 审美 主义 代表 | 李白 |
## [文化/1742.txt/1742.txt, 72] 都要 一号 古人 张飞 诗仙 | 李白 |
## [文化/217.txt/217.txt, 7] 电影 鲁迅 拍摄 近日 全心投入 | 李白 |
## [文化/217.txt/217.txt, 9] 拍摄 近日 全心投入 李白 排演 | 李白 |
## [文化/217.txt/217.txt, 19] 国际 戏剧 演出 三度 出演 | 李白 |
## [文化/217.txt/217.txt, 32] 观众 观止 我又 舞台 再演 | 李白 |
## [文化/217.txt/217.txt, 48] 傲骨 斗士 我在 舞台 分明 | 李白 |
## [文化/217.txt/217.txt, 52] 分明 李白 忘记 名字 小时 | 李白 |
## [文化/217.txt/217.txt, 55] 名字 小时 李白 在一起 观众 | 李白 |
## [文化/217.txt/217.txt, 64] 不失 诗意 人生 几年 其间 | 李白 |
## [文化/217.txt/217.txt, 91] 错过 去年 再版 第三次 再版 | 李白 |
## [文化/217.txt/217.txt, 113] 时间 演出 不想 时间 思想 | 李白 |
## [文化/217.txt/217.txt, 119] 表演 演出 采访 侃侃而谈 谈到 | 李白 |
## [文化/217.txt/217.txt, 139] 那是 狂妄 成熟 艺术 剖析 | 李白 |
## [文化/217.txt/217.txt, 149] 演员 一生 饱满 拥抱 角色 | 李白 |
## [文化/217.txt/217.txt, 160] 捧得 戏剧 梅花 不到 选取 | 李白 |
## [文化/217.txt/217.txt, 165] 李白 人生 几年 去年 年底 | 李白 |
## [文化/217.txt/217.txt, 205] 不动 气力 演员 没气 出了 | 李白 |
## [文化/217.txt/217.txt, 219] 当作 财富 感受到 真实 真实 | 李白 |
## [文化/217.txt/217.txt, 225] 理解 热爱 也没有 深刻 透彻 | 李白 |
## [文化/217.txt/217.txt, 241] 苏联 发生 一九 事件 想做 | 李白 |
## [文化/217.txt/217.txt, 254] 演说 将来 避难 中国 中国 | 李白 |
## [文化/217.txt/217.txt, 255] 将来 避难 中国 中国 李白 | 李白 |
## [文化/217.txt/217.txt, 270] 心境 中的 浪漫 境界 要到 | 李白 |
## [文化/217.txt/217.txt, 273] 境界 要到 李白 形象 追寻 | 李白 |
## [文化/217.txt/217.txt, 291] 而来 明月 而归 浪漫 气质 | 李白 |
## [文化/217.txt/217.txt, 297] 集大成者 屈原 白居易 杜甫 都不 | 李白 |
## [文化/217.txt/217.txt, 308] 都在 身上 剧本 选取 的是 | 李白 |
## [文化/217.txt/217.txt, 322] 地方 云南 四川 交界 地方 | 李白 |
## [文化/217.txt/217.txt, 336] 接到 皇上 一扫 心中 阴霾 | 李白 |
## [文化/217.txt/217.txt, 358] 美文 甚少 剧本 美文 演员 | 李白 |
## [文化/217.txt/217.txt, 365] 陶醉在 语言 作者 创造 陶醉在 | 李白 |
## [文化/217.txt/217.txt, 375] 人生 创作 机遇 心境 中有 | 李白 |
## [文化/217.txt/217.txt, 429] 父子 中的 扶苏 中的 曹植 | 李白 |
## [文化/217.txt/217.txt, 431] 扶苏 中的 曹植 李白 中的 | 李白 |
## [文化/217.txt/217.txt, 672] 白云 细雨 责任 时间 记得 | 李白 |
## [文化/217.txt/217.txt, 768] 记得 几十年 记得 几百 记得 | 李白 |
## [文化/217.txt/217.txt, 1334] 肌肉 喜剧 喜剧 思维 喜剧 | 李白 |
## [文化/217.txt/217.txt, 1378] 市井小民 代表作 雷雨 中的 再到 | 李白 |
## [文化/217.txt/217.txt, 1383] 李白 一千 年前 浪漫 诗仙 | 李白 |
## [文化/217.txt/217.txt, 1408] 表演 话剧 作品 父子 雷雨 | 李白 |
## [文化/416.txt/416.txt, 79] 消息 关注 已故 著名 诗人 | 李白 |
## [文化/679.txt/679.txt, 57] 巨人 一位 王子 一位 诗人 | 李白 |
## [文化/679.txt/679.txt, 67] 弘法 华山 菩萨 道场 莲花 | 李白 |
## [文化/679.txt/679.txt, 174] 肉身 一大 奇观 天宝 八年 | 李白 |
## [文化/679.txt/679.txt, 205] 序文 青阳 山高 千丈 上有 | 李白 |
## [文化/679.txt/679.txt, 214] 一举 华山 华山 之作 华山 | 李白 |
## [文化/679.txt/679.txt, 228] 以文会友 蔚然 华山 独特 人文 | 李白 |
## [文化/716.txt/716.txt, 1198] 九天九地 又能 屈原 不仅是 屈原 | 李白 |
## [文化/892.txt/892.txt, 1924] 不可能 杀死 文学 一直在 庄周 | 李白 |
## [文化/970.txt/970.txt, 446] 一生 中的 顶峰 仁宗 唐朝 | 李白 |
## [招聘/1499.txt/1499.txt, 22] 品位 男人 生活 品位 大禹 | 李白 |
##
## 偶像 阴茎 两次 勃起 之间
## 梦见 笔头 生花 才思敏捷 李白
## 读书 终于 文字 已有 彻悟
## 素材 浙江 话题 人文 发展
## 唐诗 中的 精神 文学 万里
## 前途 充满 无限 憧憬 他想
## 得意 也有 失意 终于 看清
## 不愧为 诗仙 仙人 湖北 考生
## 你在 自在 逍遥 贵妃 力士
## 项羽 事例 纷纷 考生 采用
## 浩然 中的 孤帆 碧空 长江
## 金陵 酒肆 留别 金陵 子弟
## 越中 越王勾践 战士 锦衣 如花
## 留别 不见 照耀 金银 纷纷
## 无奈 政治 理想 黑暗 现实
## 想要 生活 他要 折腰 开心
## 走上 成就 泣鬼神 神话 历史
## 事例 重点 突破 岳飞 项羽
## 杜甫 上柳 天涯 芳草 苏轼
## 秋瑾 日本 两首 作者 处的
## 庐山 瀑布 诗句 直下 三千
## 十二 岳阳 第三 下榻 天上
## 十二 岳阳 神奇 想象 大胆
## 诗歌 浪漫 主义 风格 诗歌
## 杜甫 鲁迅 摆脱 几年 爱因斯坦
## 方向 失意 郁闷 何况是 傲岸
## 进酒 不见 高堂 明镜 头发
## 霜鬓 作者 表达 的是 感慨
## 名作 留别 写到 鼓瑟 回车
## 名作 留别 写到 鼓瑟 回车
## 故里 司马 故里 故里 郭沫若
## 弹琴 友人 杜甫 白居易 鹦鹉
## 故居 李白 家乡 四川 正式
## 家乡 四川 正式 开放 美国
## 诗歌 爱好 游客 前往 参观
## 故居 位于 四川 绵阳 之间
## 自称 青莲居士 含有 家乡 谐音
## 清廉 改成 也就是 诗仙 李白
## 曾在 生活 多年 留下 诗篇
## 文化 渊源 地方 记者 四川省
## 故里 工程 李白 故居 李白
## 故居 李白 纪念 太白 公园
## 纪念 太白 公园 整体 提升
## 纪念 全国 李白 文化 资料
## 文化 资料 中心 太白 公园
## 文化 主题 公园
## 四川 李白 故居 吟诵 李白
## 故居 吟诵 李白 诗词 李白
## 诗词 李白 故里 经典 诗歌朗诵
## 故里 经典 诗歌朗诵 形式 怀念
## 感觉 如故 李白 中国 文学
## 中国 文学 史上 屈原 浪漫
## 生于 公元 四川省 生活 足迹
## 诗歌 公元 世纪 欧洲 世纪
## 中有 月亮 月光 描写 月光
## 表演 起了 双簧 深情 朗诵
## 日本 著名 同行 喜欢 李白
## 广岛 横山 女士 主办 介绍
## 文化 旅游 吸引 美国 日本
## 研究者 李白 诗歌 爱好 参观
## 诗歌 爱好 参观 游客 更是
## 千古 蜀道 竭尽 夸张 浪漫
## 想象 太白山 峨眉山 之间 只可
## 杜甫 浩然 韩愈 有名 佳作
## 都有 亲密 交往 赞赏 洛中
## 一件 日本 李白 很受 感动
## 很受 感动 天宝 十三 遣唐使
## 日本 翻船 遇难 悲痛 写下
## 称为 的是 继承 屈原 浪漫
## 中国 唯一 酒神 艺术 轻盈
## 仰天长啸 喊冤 武松 一批 光辉
## 排演 李白 赶上 参加 第三
## 赶上 参加 第三 北京 国际
## 自然 感慨 岁月 留下 痕迹
## 充满 浪漫 可笑 诗仙 满怀
## 忘记 名字 小时 李白 在一起
## 在一起 观众 李白 一同 经历
## 一同 经历 悲苦 不失 诗意
## 观众 起了 泪水 朋友 一旁
## 实力 演员 成长 成熟 北京
## 表演 演出 采访 侃侃而谈 谈到
## 鲁迅 北京 演员 责任 未来
## 赐给 人生 创作 机遇 演员
## 父亲 第二次 合作 作品 第一次
## 人生 几年 去年 年底 李白
## 北京 经典 工程 再度 上演
## 成功 秘诀 演员 都很 忌讳
## 理解 热爱 也没有 深刻 透彻
## 观众 激动 当年 苏联 莫斯科
## 那天 早上 点钟 酩酊大醉 衣冠不整
## 李白 外国 眼中 精神 境界
## 外国 眼中 精神 境界 都是
## 形象 追寻 李白 中国 几千
## 中国 几千 文明史 代表性 文人
## 集大成者 屈原 白居易 杜甫 都不
## 精神 精神 反差 对立 统一
## 几年 误入 幕府 不清 官司
## 江南 押解 一路上 吃了 白帝城
## 大笑 狂呼 上船 千里 江陵
## 名义 陶醉在 语言 作者 创造
## 角色 性情 角色 赐给 人生
## 相近 东西 演员 一生 创作
## 中的 李白 近年 特等 海鸥
## 近年 特等 海鸥 茶馆 姊妹
## 鲁迅 那天 日子 上午 种树
## 鲁迅 弘一 法师 在做 的是
## 一段 时间 全心全意 鹿原 北京
## 一千 年前 浪漫 诗仙 李白
## 舞台 当代 古代 千年 时光
## 海鸥 鸟人 古玩 姊妹 茶馆
## 杜甫 纷纷 发表 看法 唐宋八大家
## 王子 山上 苦行 清修 弘法
## 寻幽 会友 华山 一字千金 万古
## 第一次 迎接 石门 桃花 邀请
## 三人 华山 联句 一举 华山
## 华山 历代 文人 墨客 纷纷
## 华山 华山 有了 国际 中国
## 杜甫 鲁迅 托尔斯泰 古往今来 作家
## 杜甫 显祖 曹雪芹 鲁迅 文学
## 宋朝 苏轼 纯正 博学多闻 书画
## 醉卧 沙场 诗句 海明威 作品doc_dfm <- dfm(doc_tokens3)
doc_dfm #矩阵化## Document-feature matrix of: 17,910 documents, 83,023 features (99.81% sparse) and 1 docvar.
## features
## docs 本报记者 实习 记者 发自 上海 一家 刚刚 成立 网络 支付
## 财经/10.txt/10.txt 1 1 1 1 1 1 1 1 14 30
## 财经/100.txt/100.txt 0 0 0 0 0 0 0 0 0 0
## 财经/1000.txt/1000.txt 0 0 0 0 0 0 0 0 0 0
## 财经/1001.txt/1001.txt 0 0 0 0 0 0 0 0 0 0
## 财经/1002.txt/1002.txt 0 0 0 0 0 0 0 0 0 0
## 财经/1003.txt/1003.txt 0 0 0 0 0 0 0 0 0 0
## [ reached max_ndoc ... 17,904 more documents, reached max_nfeat ... 83,013 more features ]nfeat(doc_dfm)## [1] 83023knitr::kable(head(featnames(doc_dfm), 100))| x |
|---|
| 本报记者 |
| 实习 |
| 记者 |
| 发自 |
| 上海 |
| 一家 |
| 刚刚 |
| 成立 |
| 网络 |
| 支付 |
| 公司 |
| 目标 |
| 美元 |
| 上市 |
| 的是 |
| ceo |
| 国光 |
| 曾任 |
| 高级 |
| 副总裁 |
| 负责 |
| 工作 |
| 选择 |
| 第三 |
| 创业 |
| 方向 |
| 媒体 |
| 我能 |
| 胡同 |
| 对面 |
| 只能 |
| 自信 |
| 狂妄 |
| 一步 |
| 几乎是 |
| 特征 |
| 也许 |
| 留待 |
| 时间 |
| 考证 |
| 百度 |
| 广告 |
| 客户 |
| 数量 |
| 做的 |
| 吸引 |
| 支撑 |
| 现有 |
| 庞大 |
| 几年 |
| 几千 |
| 都是 |
| 带来 |
| 利润 |
| 一点 |
| 都不 |
| 夸张 |
| 年底 |
| 注册 |
| 用户 |
| 计划 |
| 突破 |
| 号称 |
| 国内 |
| 平台 |
| 美国 |
| 相关 |
| 收入 |
| 超过 |
| 商业 |
| 银行 |
| 总和 |
| 查到 |
| 数据 |
| 消费 |
| 喜欢 |
| 借用 |
| 产业 |
| 现状 |
| 中国 |
| 情况 |
| 差异 |
| 坚信 |
| 市场 |
| 前景 |
| 广阔 |
| 便利 |
| 挑战 |
| 只需要 |
| 手机 |
| 号码 |
| 邮件 |
| 地址 |
| 户外 |
| 传统 |
| 账户 |
| 习惯 |
| 鲜明 |
| 模式 |
| 本质 |
dfm_group(doc_dfm, groups = 类别)## Document-feature matrix of: 9 documents, 83,023 features (66.66% sparse) and 1 docvar.
## features
## docs 本报记者 实习 记者 发自 上海 一家 刚刚 成立 网络 支付
## 财经 99 13 689 43 1755 215 72 188 1218 499
## 互联网 123 46 1207 26 556 346 101 251 2362 225
## 健康 58 21 1568 1 420 298 114 129 157 72
## 教育 31 202 895 1 680 139 95 185 506 123
## 军事 74 8 1128 8 173 72 166 206 552 28
## 旅游 30 38 1644 5 1210 296 122 154 249 75
## [ reached max_ndoc ... 3 more documents, reached max_nfeat ... 83,013 more features ]topfeatures(doc_dfm, 200)## 中国 公司 工作 市场 发展 美国 企业 国家
## 38634 32099 21056 16798 15985 15751 15109 13995
## 时间 旅游 专业 大学 社会 记者 北京 技术
## 13830 13619 11624 10682 10606 10504 10355 10276
## 管理 情况 能力 学生 经济 信息 教育 一种
## 9662 9622 9510 9309 9252 8761 8474 8466
## 国际 世界 文化 生活 相关 学校 产品 日本
## 8461 8452 8384 8161 8077 8055 8037 8018
## 的是 系统 投资 计划 服务 研究 上海 人员
## 7943 7726 7691 7686 7664 7427 7311 7231
## 考生 关系 股东 发现 选择 影响 都是 第一
## 7221 7102 6970 6965 6958 6906 6897 6799
## 提供 方式 比赛 网络 政府 职业 考试 历史
## 6764 6378 6369 6329 6315 6303 6111 6071
## 活动 中的 包括 军事 中心 部门 地区 人才
## 6026 6006 6000 5898 5809 5800 5553 5544
## 内容 专家 全国 集团 参加 提高 股份 业务
## 5542 5538 5467 5456 5410 5396 5334 5320
## 知识 招生 毕业 机构 建设 生产 美元 组织
## 5256 5251 5246 5243 5232 5229 5213 5198
## 行业 分析 学习 增长 发生 项目 希望 价格
## 5182 5159 5158 5145 5124 5099 5034 5010
## 城市 有限公司 特别 标准 医院 增加 人的 单位
## 4991 4983 4914 4828 4771 4755 4747 4711
## 会议 报道 训练 国内 导弹 成功 基础 报告
## 4699 4686 4658 4642 4641 4632 4616 4559
## 资源 目标 工程 过程 机会 表现 销售 改革
## 4536 4521 4520 4498 4487 4460 4436 4428
## 水平 环境 地方 调查 科学 招聘 代表 合作
## 4427 4388 4381 4356 4351 4336 4329 4287
## 我国 收入 之间 原因 消费 媒体 方案 部队
## 4226 4199 4197 4151 4131 4126 4117 4115
## 台湾 竞争 银行 董事 全球 战略 志愿 心理
## 4106 4052 4011 4009 3999 3998 3986 3971
## 负责 证券 介绍 提出 录取 解决 治疗 更多
## 3956 3951 3932 3914 3885 3876 3841 3818
## 飞机 去年 领导 找到 政策 未来 设计 资料
## 3818 3807 3788 3785 3757 3747 3740 3736
## 分钟 精神 方法 接受 gt 主义 论坛 作战
## 3728 3723 3702 3699 3691 3685 3659 3658
## 调整 政治 手机 股权 开发 学院 用户 作用
## 3634 3602 3595 3595 3587 3581 3575 3572
## 成绩 显示 文章 重点 控制 实施 超过 员工
## 3566 3551 3542 3519 3518 3506 3472 3448
## 战争 产业 一点 电视 直播 新的 联合 法律
## 3439 3436 3434 3426 3422 3407 3393 3390
## 女性 条件 关注 传统 期间 游客 制度 到了
## 3382 3370 3343 3332 3314 3314 3312 3305
## 电话 消息 建立 价值 就业 武器 演习 喜欢
## 3261 3261 3241 3233 3227 3227 3225 3223textplot_wordcloud(doc_dfm, min_count = 1000, random_order = T, rotation = 0.25,
color = rev(RColorBrewer::brewer.pal(10, "RdBu")))
下面对共现矩阵进行可视化
fcmat <- fcm(doc_tokens3, context = "window", window = 5)
head(fcmat)## Feature co-occurrence matrix of: 6 by 85,949 features.
## features
## features 本报记者 实习 记者 发自 上海 一家 刚刚 成立 网络 支付
## 本报记者 12 18 41 70 56 6 3 1 2 0
## 实习 0 472 164 3 21 48 10 3 7 15
## 记者 0 0 1190 10 299 121 73 24 84 11
## 发自 0 0 0 2 35 1 1 1 1 0
## 上海 0 0 0 0 1742 75 29 62 177 22
## 一家 0 0 0 0 0 160 16 35 45 7
## [ reached max_nfeat ... 85,939 more features ]feat <- names(topfeatures(fcmat, 50))
fcmat1 <- fcm_select(fcmat, pattern = feat)
fcmat1## Feature co-occurrence matrix of: 50 by 50 features.
## features
## features 中国 企业 信息 国家 经济 产品 人员 旅游 社会 提高
## 中国 12162 1523 502 1942 1543 564 262 2245 1090 250
## 企业 0 5820 464 448 466 702 536 364 367 222
## 信息 0 0 2600 253 155 176 122 231 212 226
## 国家 0 0 0 2646 717 309 219 1030 611 135
## 经济 0 0 0 0 2014 86 57 322 1103 202
## 产品 0 0 0 0 0 2502 110 742 53 177
## 人员 0 0 0 0 0 0 1144 134 143 106
## 旅游 0 0 0 0 0 0 0 9914 156 127
## 社会 0 0 0 0 0 0 0 0 2242 181
## 提高 0 0 0 0 0 0 0 0 0 404
## [ reached max_feat ... 40 more features, reached max_nfeat ... 40 more features ]textplot_network(fcmat1, min_freq = 0.5, vertex_labelsize = 1.5 * log(rowSums(fcmat1) +
1)) #共现词可视化
文档相似度：
doc_dfm1 <- dfm_subset(doc_dfm, 类别 == "互联网")
simi <- textstat_simil(doc_dfm1, margin = "documents", method = "cosine") #互联网下文档相似度
DT::datatable(head(simi, 100), options = list(scrollX = T))词相似度：
wordsim240 <- read.table("240.txt")
DT::datatable(wordsim240)word <- c(wordsim240$V1, wordsim240$v2)
word## [1] "李白" "日本" "浏览器" "医生" "白天"
## [6] "基因" "学校" "法官" "员工" "学校"
## [11] "学生" "学校" "男人" "喝水" "消费者"
## [16] "消费者" "发表" "淋浴" "医学" "演唱会"
## [21] "衣柜" "疾病" "医学" "图片" "春节"
## [26] "鱼" "春节" "计算机" "教师" "学校"
## [31] "计算机网络" "电子计算机" "领土" "海岸" "媒体"
## [36] "学生" "旅行" "中医" "环境" "电话"
## [41] "银行" "乐器" "人际关系" "天气" "义务"
## [46] "法律" "媒体" "战争" "消费者" "自然"
## [51] "音乐" "北京" "战争" "金钱" "钱"
## [56] "烹饪" "书" "计算机" "文物" "汽车"
## [61] "电影" "公平" "资金" "货币" "吉祥物"
## [66] "行星" "老虎" "律师" "春节" "大学生"
## [71] "图片" "北京" "能源" "电台" "物理"
## [76] "帝国主义" "地球" "儿子" "死亡" "杂志"
## [81] "起重机" "心理学" "能源" "饮料" "新闻"
## [86] "食物" "设备" "工人" "金钱" "酒精"
## [91] "春节" "暑假" "火星" "利润" "地图"
## [96] "国家" "地图" "电影" "地图" "火星"
## [101] "耶路撒冷" "书籍" "自然" "货币" "台湾"
## [106] "工作" "爱" "大学" "就业" "杯子"
## [111] "生物" "领土" "杂志" "道德" "网球"
## [116] "问题" "旅行" "伤残" "和平" "股票"
## [121] "行星" "本拉登" "生产" "海鲜" "成人"
## [126] "性别" "笔" "工作" "夏天" "英雄"
## [131] "成人" "竞争" "受害者" "心理学" "时间"
## [136] "电视剧" "海外华人" "心理" "政府" "成人"
## [141] "墓地" "计算机" "杯子" "报告" "公民"
## [146] "人口" "老虎" "家庭" "男人" "碗"
## [151] "工作" "暑假" "化学" "音乐" "老鼠"
## [156] "火星" "游戏" "空间" "金钱" "心理"
## [161] "公司" "心理学" "道德" "游戏" "联邦调查局"
## [166] "部长" "电影" "阳光" "股息" "列表"
## [171] "消费" "汽车" "中世纪" "杯子" "工具"
## [176] "和平" "心理学" "心理学" "玻璃" "可能性"
## [181] "夏季" "探索" "未来" "计算机" "科学"
## [186] "杯子" "天空" "森林" "心理学" "电影"
## [191] "水" "奢侈品" "床" "视频" "少数民族"
## [196] "生育" "石油" "宠物" "海岸" "股票"
## [201] "一百" "股票" "世纪" "英雄" "金钱"
## [206] "戏剧" "教师" "男性" "发展" "老虎"
## [211] "年轻人" "汽车" "酒" "志愿者" "游戏"
## [216] "股票" "股票" "总统" "股票" "方向"
## [221] "标志" "问题" "排队" "糖" "水"
## [226] "饮料" "歌剧" "和尚" "铁路" "苹果"
## [231] "股票" "皇帝" "周三" "能源" "七"
## [236] "中午" "收音机" "教授" "自行车" "蛋白质"word1 <- intersect(word, doc_dfm@Dimnames$features)
word1## [1] "李白" "日本" "医生" "白天" "基因" "学校"
## [7] "法官" "员工" "学生" "男人" "喝水" "发表"
## [13] "淋浴" "医学" "衣柜" "疾病" "图片" "春节"
## [19] "教师" "领土" "海岸" "媒体" "旅行" "中医"
## [25] "环境" "电话" "银行" "乐器" "天气" "义务"
## [31] "法律" "战争" "自然" "音乐" "北京" "金钱"
## [37] "烹饪" "文物" "汽车" "电影" "公平" "资金"
## [43] "货币" "行星" "老虎" "律师" "大学生" "能源"
## [49] "电台" "物理" "地球" "儿子" "死亡" "杂志"
## [55] "起重机" "饮料" "新闻" "食物" "设备" "工人"
## [61] "酒精" "暑假" "火星" "利润" "地图" "国家"
## [67] "耶路撒冷" "书籍" "台湾" "工作" "大学" "就业"
## [73] "杯子" "生物" "道德" "网球" "和平" "股票"
## [79] "生产" "海鲜" "成人" "性别" "夏天" "英雄"
## [85] "竞争" "受害者" "时间" "心理" "政府" "墓地"
## [91] "报告" "公民" "人口" "家庭" "化学" "老鼠"
## [97] "游戏" "空间" "公司" "部长" "阳光" "股息"
## [103] "列表" "消费" "工具" "玻璃" "可能性" "夏季"
## [109] "探索" "未来" "科学" "天空" "森林" "奢侈品"
## [115] "视频" "生育" "石油" "宠物" "一百" "世纪"
## [121] "戏剧" "男性" "发展" "总统" "方向" "标志"
## [127] "排队" "歌剧" "和尚" "铁路" "苹果" "皇帝"
## [133] "周三" "中午" "收音机" "教授"word_sim <- textstat_simil(doc_dfm, doc_dfm[, word1], method = "cosine", margin = "features") #余弦词相似度
xiangsidu <- map(as.list(word_sim), head, 10)
head(xiangsidu, 10)## $李白
## 坏得 希求 胡笳 排演场 鹿原 市井小民 清凉寺 蔡文姬
## 0.8464272 0.8464272 0.8464272 0.8464272 0.8464272 0.8464272 0.8464272 0.8029913
## 诗仙 诗歌朗诵
## 0.7067282 0.6766407
##
## $日本
## 卫队 扩充 野心勃勃 中日 固有 亚洲 防卫 图谋
## 0.6346904 0.4803056 0.4336824 0.4307109 0.3908036 0.3820563 0.3748361 0.3599410
## 台澎 精良
## 0.3493649 0.3449199
##
## $医生
## 医院 手术 病情 看病 病人 患者 外科 诊断
## 0.4268473 0.4115002 0.4015852 0.3910045 0.3408438 0.3326846 0.3232272 0.3139306
## 治疗 检查
## 0.3068438 0.2857781
##
## $白天
## 睡眠 晚上 emmanuelmignot mignot 半睡半醒
## 0.3443851 0.2993249 0.2911616 0.2911616 0.2911616
## 睡觉 睡得 发作 睡着 哈欠
## 0.2539455 0.2471821 0.2393737 0.2369280 0.2334486
##
## $基因
## ｂt 棉铃 天蚕 抗病性 tmv cmv proa badh
## 0.8598299 0.8598299 0.8598299 0.8598299 0.8598299 0.8598299 0.8598299 0.8598299
## mtl gutd
## 0.8598299 0.8598299
##
## $学校
## 办学 招生 高等 录取 专业 教育部 本科 考生
## 0.6227462 0.5580443 0.5131835 0.4907681 0.4867525 0.4864324 0.4820104 0.4696813
## 入学 志愿
## 0.4547169 0.4542282
##
## $法官
## 错案 jd 司法 法庭 嫌犯 研修 科班出身 裕仁
## 0.4802921 0.4075414 0.4028380 0.4012030 0.3746415 0.3682935 0.3423026 0.3060693
## 陪审团 法理
## 0.2932474 0.2838235
##
## $员工
## 企业 管理者 中层 高层
## 0.5506314 0.4995311 0.4867278 0.4582574
## -99 招聘 外部 www.chinahrd.net
## 0.4450393 0.4433646 0.4394387 0.4381564
## 各层 候选
## 0.4371422 0.4309733
##
## $学生
## 学习 教学 老师 课堂 学校 培养 专业 教育
## 0.4939557 0.4629930 0.4327421 0.4166398 0.4024418 0.3548987 0.3210562 0.3204760
## 年级 学科
## 0.3118640 0.3102338
##
## $男人
## 女人 甜言蜜语 揭短 冰窖 逼不得已 挥之即去 爱上 妄自尊大
## 0.7247075 0.3288235 0.3182163 0.3182163 0.3182163 0.2855933 0.2836514 0.2769717
## 多情 小气
## 0.2637726 0.2561444knitr::kable(xiangsidu$教师, col.names = "教师")| 教师 | |
|---|---|
| 师资 | 0.4292712 |
| 小学 | 0.3918213 |
| 代课老师 | 0.3702829 |
| 教职人员 | 0.3649819 |
| 进些 | 0.3474347 |
| 地裁 | 0.3474347 |
| 学生 | 0.3100303 |
| 教学 | 0.2958211 |
| 园丁 | 0.2922025 |
| 教育 | 0.2860723 |
knitr::kable(xiangsidu$李白, col.names = "李白")| 李白 | |
|---|---|
| 坏得 | 0.8464272 |
| 希求 | 0.8464272 |
| 胡笳 | 0.8464272 |
| 排演场 | 0.8464272 |
| 鹿原 | 0.8464272 |
| 市井小民 | 0.8464272 |
| 清凉寺 | 0.8464272 |
| 蔡文姬 | 0.8029913 |
| 诗仙 | 0.7067282 |
| 诗歌朗诵 | 0.6766407 |
knitr::kable(xiangsidu$医生, col.names = "医生")| 医生 | |
|---|---|
| 医院 | 0.4268473 |
| 手术 | 0.4115002 |
| 病情 | 0.4015852 |
| 看病 | 0.3910045 |
| 病人 | 0.3408438 |
| 患者 | 0.3326846 |
| 外科 | 0.3232272 |
| 诊断 | 0.3139306 |
| 治疗 | 0.3068438 |
| 检查 | 0.2857781 |
接下来还可以做文本分类和聚类，还有主题模型。