中文分词算法技术原理与实战应用

人亦已歌

许多人一直再说SEO算法变很大，就我觉得这些算法是一直没变，而是大家对SEO的一些把控有所改变，做SEO永远是思维大于常规，而SEO排名结果都是换汤不换药，假如一些算法的本质被我们掌控了，那么SEO优化就会很透明，按照自己所把控的思维做排名，那是相当轻松。

什么是中文分词，为什么需要中文分词？

我们都知道对于用户本身而言，是具备意识来进行判断一个网页内容的可读性、通顺度等行为。但是对于搜索引擎本身来说它是不能像用户大脑一样去思考问题。而中文分词可以利用语义分析系统（类似人的大脑）来进行词汇分割，从组，定性等多维度拆解，从而让网页文档通过分词技术进行词汇归类，得到的最后网页多组词的频次，在利用倒排索引与TF-IDF算法与之计算，最终确定网页的核心主题（关键词）。

举例：

在我们常见的语义模型中，大致分为三种类型的词，符号、中文、英文单词。由于国内搜索引擎多数情况下使用的是中文词汇，但是不少网页也存在大量的英文词汇，所以在考量分词结构的时候不仅仅是用来测试中文含义。而中文分词里面的词性有分为名词、形容词、动词、副词等词性，尽管我们作为用户可以一眼看出标题、描述、页面内容的含义，但是对于搜索引擎本身来讲是不具备这类“意识”，而语义分析是最好的一种模拟用户行为的方式。

比如“漂亮_漂亮的含义_漂亮的意思”这个标题对于用户而言都知道是阐述漂亮，但是对于搜索引擎来说并不知道，而中文分词可以将页面的词隔离开来进行判断。这里的下划线可以作为分词符号，分词符号的最大作用是用于将一个词组合并成一个词，比如用户查询漂亮的含义，而标题中漂亮的含义通过分词符号可以让标题精准包含该关键词（关键词不间断）。

再比如排行榜这个词语，本身就是一个词，不可能把排行和榜分开，但是如果采用了分词符号比如排行_榜，那么该标题就分为了两个关键词。分词符号的最大作用就是让关键词（词或词组）变成一个词，用于增强网页的唯一主题强调，从而增加该关键词在网页文档中的权重（强调）程度。

应用：

我们在借助中文分词技术进行搜索引擎优化的时候强调三个原则，而这三个原则的把控是提升网页核心关键词权重的核心基石。

原则一：名词优先 首先我们简单的理解什么是名词，从词性来讲名词是通过概念性的描述一种人、事、物的名称。比如父亲、山药、意义等这类带有名称属性的词性叫做名词。而漂亮、矮小等这类词属于形容词，蹦跑、种菜这种则属于动词。而我们正常的词性来讲，名词是词性范围最广，词量最多的一种词。比如我们优化的产品词，业务词等绝大多数都是名词属性。从搜索引擎角度来说，名词的权重（重要程度）要大于其他属性。比如“我的父亲”，该标题父亲显然是核心词，而不是我或者得。

原则二：频次优先 之所以有频次优先原则，那是因为我们在强调一个主题的核心程度的同时也要思考该词在该网页当中的比重，比如“漂亮_漂亮的含义_漂亮的意思”，尽管漂亮是形容词，含义是名词，但是该标题的核心词绝对是漂亮而不是含义，因为频次大于词性。所以在频次相等的情况下，名词权重（重要程度）最高。频次不等的情况下，频次最高的关键词强调性最大。

原则三：分词符号优先 之所以才用到分词符号大多数是因为，我们很多时候优化的一个关键词并不是单一的词汇，而是通过多个词组合起来的词组。而词组里面可能不一定是名词，可能是名词+动词、名词+形容词等组合搭配的词汇。如果我们不间断的去写一个标题比如“我的语文老师很漂亮”，该标题我的、语文、老师均为名词，如果没有任何分词符号，该标题通过分词就是我的、语文、老师、很、漂亮。但是如果我们用【】将语文老师扩起来，那么该标题分词以后就是我的、语文老师、很、漂亮。分词符号的最大作用就是将网页的一个词组通过分词符号的替换来达到词组并归或词分离，从而增强网页核心关键词的主题强调作用。

语义分析系统： http://ictclas.nlpir.org/nlpir/

中文分词举例展示

上图案例当中，张玉鹏后面采用了冒号，这里的冒号其实就是分词符号，如果我们不加冒号，该标题反倒像一句话，通过分词符号可以有效的将词分离出来，从而提升该关键词在网页当中的整体核心权重。下图早餐培训，我们也采用了下划线作为关键词的分词符号，如果我们不加下划线，那么该标题就是“早餐培训早餐培训班早餐培训学校【免费加盟】”。从语义上讲，我们可以念成早餐、培训早餐、培训班、早餐、培训学校。这类组合方式会有非常多，并且不加分词符号让整个标题有种让人看不懂的感觉。所以我们要学会巧妙使用分词符号，从短语或者词组进行分离，从而达到关键词独立性的目的，也是为了增强网页关键词的唯一性。

好了其实要做好SEO，是很容易的，只是需要持续及思维开阔，这样来做优化就显得那么明显与简单。我们研究排名不就是让自身网站有更好的流量，那么我们最终的结果就是以流量为导向，而不是以优化而优化。