LinkedIn文本分析平台：主题挖掘的四大技术步骤

事件主题II：一个动词后面加上若干限定词及若干名词，动宾结构表示一件事情。此种情况下，限定词及名词可以脱离动词存在。比如“合并我的账户”、“关闭我们的旧账户”。

POS模式匹配会对所有句子的POS标签进行扫描，寻找是否有与上述三种模式匹配。每一个匹配的短语都会被当成一个候选主题。

三. 主题抽取

接下来，我们需要减少重复部分、去掉短语中无关紧要的词。主题抽取步骤如下：

1. 词干提取：这是信息提取和数据挖掘中的关键技术步骤。在LinkedIn的主题挖掘中，“查看简历（view profile）”、“查看所有简历（view profiles）”、“已查看简历（viewed profile）”会被分入到同一个候选主题“查看简历（view profile）”。LinkedIn采用的是Java实现Porter词干提取算法。在词干提取合并候选主题时，会选择词频较高的词语作为最终的主题。如“view”和“profile”组成view profile。

2. 去掉停止词：在选择候选主题时，还需要去掉停止词。比如文章常见的停止词：介词、代词、连词、小品词或其他辅助词语。如果最终“注销这个账户”“注销他的账户”都能被划入“注销账户”的候选主题中。LinkedIn采用的是Lextek标准版停止词。

3. 合并同类词：为了进一步简化候选主题的整理，LinkedIn还自行添加了234个特定领域的停止词。去掉那些不会给候选主题添加价值的词语，比如社交网络领域的停止词“附加信息”、“联系我们”、“原消息”、“同样问题”、“网站”、“其他站点”、“点击链接”和“com”等。

4. 合并语义相近的词条：最终，候选主题需要被提炼到没有同类或同义词。比如“邮箱地址”、“邮箱账号”需要被合并为一个共同主题。同样地，还可以借助WordNet之类的语库对词条进行合并，如“link”、“connection”、“association”、“partnership”和“relationship”等。LinkedIn手动添加了75组同义词。

   合并特定域同类词和语义相近词可以很好地帮助候选主题的提炼，可是大部分的主题提取系统都没有重视这两项候选主题的清理策略。

四. 主题排序

经过上述步骤，最终留下来的候选主题已经都最优化。接下来，需要一个标准进行主题排序，然后可以衍生出一套主题。LinkedIn通过两个步骤进行候选主题排序：

1. 我们计算每个文件中候选主题的TF-IDF值，然后根据我们的经验，我们会保留TF-IDF值最高的五个主题。TF-IDF是文件为单位的计算值，而没有考虑到文件所在的文件整个集合。

2. 需要为整个文件集合产生一个单独的主题列表。LinkedIn引入了文件频率这个参数来进行整个文件集合的主题TF-IDF值的计算。

主题挖掘的业务价值

乍眼一看，这套多模块的流水线处理系统中任何模块都可以单独工作，但会有人担心无预过滤的TF-IDF计算会产生干扰和不准确的主题；不过，LinkedIn使用该系统对论坛讨论、组信息更新、博客中的用户意见文本进行主题挖掘，实践效果很好。

LinkedIn不需要人工的预览内容就可以简单地实现主题生成，同时根据文件来源的不同可以产生不同的主题。比如，账号使用者抱怨的主题可能有“主要账号”、“次要账号”、“合并账号”、“关闭账号”、“复制账号”等；简历浏览者可能关心的主题是“删除联系人”、“通讯录”、“导入联系人”、“发送邀请”和“待处理邀请”。最终，这些主题会以轮子视图的形式呈现出来，轮子内圈是实体词主题，外圈是每个实体词对应的动作。

生成主题之后，对用户抱怨反馈按照这些主题进行分类，客户服务代表据此辨别整理主题的各种情绪，从而便于用户反馈的搜索或者内容总结的生成。

此外，主题随时间的变化情况还可以用来开展趋势算法的研究。这样可以在网络媒体和社区反馈中获取重要信息。最后，还可以使用主题进行文本分类，从而降低信息维度、提高处理效率。

查看英文原文：Voices Part II: Technical Details for Topic Mining

原文链接：http://www.infoq.com/cn/news/2016/07/technical-details-for-topic

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!