湘潭搜索引擎优化顽固的以为做搜索引擎优化需求从底层入手，了解搜索引擎中文分词技能，能协助咱们了解搜索引擎优化技能的实质，更好的对网站进行优化。别的，除开本文提到分词技能外，其他的比方搜索引擎原理等，也是必备的需求把握的常识点。

    假如你想成为一名专业的SEO，那么湘潭搜索引擎优化以为搜索引擎分词思想是必须把握的，由于只需把握了分词思想，你才干够定位好搜索引擎喜欢，并且用户也喜欢的要害词，进而才干更深层次的发掘出SEO技能。

    或许有一些新手朋友看起来中文分词的分词理论比较杂乱，但你完全同必要词那些理论，没有太多的意义，你只需知道核算办法和如何去做好每个网页分词就能够了，现在就为咱们具体的介绍一下百度的中文分词技能。

    一、中文分词是什么？

    湘潭搜索引擎优化从相关途径获悉，百度分词技能便是百度针对用户提交查询的要害词串进行的查询优化后依据用户的要害词串用各种匹配办法进行的一种技能。

    中文分词指的是将一个汉字序列切分红一个一个独自的词，分词便是将接连的字序列依照必定的规范从头组合成词序列的进程，所谓分词便是把字与字连在一起的汉语语句分红若干个彼此独立、完整、正确的单词，词是最小的、能独立活动的、有意义的言语成分。

    咱们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文仅仅字、句和段能经过显着的分界符来简略划界，唯独词没有一个形式上的分界符，尽管英文也相同存在短语的区分问题，不过在词这一层上，中文比之英文要杂乱的多、困难的多。

    中文分词是文本发掘的根底，关于输入的一段中文，成功的进行中文分词，能够到达电脑主动辨认语句意义的作用。

    中文分词技能归于自然言语优化技能范畴，关于一句话，人能够经过自己的常识来明白哪些是词？哪些不是词？但如何让核算机也能了解？其优化进程便是分词算法。

    核算机的一切言语常识都来自机器词典(给出词的各项信息)、句法规矩(以词类的各种组合办法来描述词的聚合现象)以及有关词和语句的语义、语境、语用常识库，中文信息优化体系只需触及句法、语义(如检索、翻译、文摘、校正等运用)，就需求以词为根本单位，当汉字由句转化为词之后，才干使得句法剖析、语句了解、主动文摘、主动分类和机器翻译等文本优化具有可行性，能够说，分词是机器言语学的根底。

    二、湘潭搜索引擎优化详解分词的思路及原理。

    首要咱们要知道搜索引擎作业原理是把每个网页的内容按词来录入到数据库，比方你的文章标题是：“SEO博客供给免费SEO实战练习教程”，那么搜索引擎分把这个标题分红搜索引擎字典已经存储的词和用户常关注的词，比方：、SEO、博客，练习，供给，免费，SEO教程，SEO实战练习，免费SEO教程，免费SEO练习和SEO练习等等。

    首要咱们能领悟这种思想就能够了，所以文章语句分割成每个词或许单个字是搜索引擎要做的第一页，也是最重要的一步，由于只需词分好了，才干准确地把价值的信息反馈给用户。

    关于一个专业的网站优化人员来说中文分词的办法也非常的重要，由于主有把要优化的每个词好了分词后，才干更好的做好每个网页的优化作业，才干更清楚的告知搜索引擎我这网站是代表什么来进步搜索引擎排名的时机，一起也清楚告知用户，你的网页要表达的内容，这是做SEO服务以来领会最深入的当地，往往一个网页的分词错了，再多的尽力都是白费，由于做SEO推行的企业是非常考究功率的，功率低意味意出资与回报率太低，是企业资源没有合理运用的一个过错战略。

    三、中文分词技能在搜索引擎中有哪些运用？

    在自然言语优化技能中，中文优化技能比西文优化技能要落后很大一段距离，许多西文的优化办法中文不能直接采用，便是由于中文必需有分词这道工序，中文分词是其他中文信息优化的根底，搜索引擎仅仅中文分词的一个运用，其他的比方机器翻译（MT）、语音合成、主动分类、主动摘要、主动校正等等，都需求用到分词。

    由于中文需求分词，或许会影响一些研讨，但一起也为一些企业带来时机，由于国外的核算机优化技能要想进入中国市场，首要也是要优化中文分词问题。

    分词准确性对搜索引擎来说非常重要，但假如分词速度太慢，即便准确性再高，关于搜索引擎来说也是不可用的，由于搜索引擎需求优化数以亿计的网页，假如分词耗用的时间过长，会严重影响搜索引擎内容更新的速度。因此关于搜索引擎来说，分词的准确性和速度，二者都需求到达很高的要求。

    四、特殊性。

    据了解，在核算机网络上，之所以存在中文分词技能，是由于中文在根本文法上有其特殊性，湘潭搜索引擎优化归纳出的特殊性具体表现在：

    1、与英文为代表的拉丁语系言语比较，英文以空格作为天然的分隔符，而中文由于继承自古代汉语的传统，词语之间没有分隔。

    古代汉语中除了绵绵词、人名和地名等，词通常便是单个汉字，所以当时没有分词书写的必要，而现代汉语中双字或多字词居多，一个字不再等同于一个词。

    2、在中文里，“词”和“词组”鸿沟含糊，现代汉语的根本表达单元尽管为“词”，且以双字或许多字词居多，但由于人们认识水平的不同，对词和短语的鸿沟很难去区分。

    例如：“对随地吐痰者给予处分”，“随地吐痰者”自身是一个词仍是一个短语，不同的人会有不同的规范，相同的“海上”“酒厂”等等，即便是同一个人也或许做出不同判别，假如汉语真的要分词书写，必然会呈现混乱，难度很大。

    中文分词的办法其实不局限于中文运用，也被运用到英文优化，如手写辨认，单词之间的空格就很清楚，中文分词办法能够协助判别英文单词的鸿沟。

    五、分词算法的分类。

    现有的分词算法可分为三大类：依据字符串匹配的分词办法、依据了解的分词办法和依据核算的分词办法，依照是否与词性标示进程相结合，又能够分为单纯分词办法和分词与标示相结合的一体化办法。

    1、依据字符串匹配的分词办法

    这种办法又叫做机械分词办法，它是依照必定的战略将待剖析的汉字串与一个“充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（辨认出一个词）。

    依照扫描方向的不同，串匹配分词办法能够分为正向匹配和逆向匹配；依照不同长度优先匹配的情况，能够分为最大（最长）匹配和最小（最短）匹配；常用的几种机械分词办法如下：

    （1）、正向最大匹配法（由左到右的方向）

    首要粗分，依照语句把文本切成一个一个语句，然后把每个语句切成单字，字典依照树形结构存储，比方这句话“春天还会远吗”首要查找“春”字开头的词，然后依照字典树形结构往下走一个节点，查找“春”后边一个字是“天”的词，然后又下沉一个节点，找“还”下面是“会”的词，找不到了，查找就结束。

    （2）、逆向最大匹配法（由右到左的方向）

    便是朝相反的方向开掘能够匹配的文字，比方网上商城这个文字串，那么会向左延伸在网上的前面会呈现的成果是区域性的文字，比方上海或许北京等，在商城的前面会呈现更精准的定义文字符，比方爱家，女人等专属性强的文字符。

    （3）、最少切分法

    使每一句中切出的词数最小，还需经过运用各种其它的言语信息来进一步进步切分的准确率。

    （4）、双向最大匹配法（进行由左到右、由右到左两次扫描）正向最大匹配办法和逆向最大匹配办法结合起来构成双向匹配法，便是向左右纵深发掘比较匹配的成果值。

    还能够将上述各种办法彼此组合，例如，能够将正向最大匹配办法和逆向最大匹配办法结合起来构成双向匹配法，由于汉语单字成词的特点，正向最小匹配和逆向最小匹配一般很少运用。

    一般说来，逆向匹配的切分精度略高于正向匹配，遇到的歧义现象也较少，核算成果表明，单纯运用正向最大匹配的过错率为1/169，单纯运用逆向最大匹配的过错率为1/245，但这种精度还远远不能满意实际的需求，实际运用的分词体系，都是把机械分词作为一种初分手法，还需经过运用各种其它的言语信息来进一步进步切分的准确率。

    一种办法是改善扫描办法，称为特征扫描或标志切分，优先在待剖析字符串中辨认和切分出一些带有显着特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，然后减少匹配的过错率。

    另一种办法是将分词和词类标示结合起来，运用丰富的词类信息对分词决策供给协助，并且在标示进程中又反过来对分词成果进行检验、调整，然后极大地进步切分的准确率。

    关于机械分词办法，能够建立一个一般的模型，在这方面有专业的学术论文，这儿不做具体论述。

    2、依据了解的分词办法

    这种分词办法是经过让核算机模拟人对语句的了解，到达辨认词的作用，其根本思想便是在分词的一起进行句法、语义剖析，运用句法信息和语义信息来优化歧义现象，它通常包括三个部分：分词子体系、句法语义子体系、总控部分。

    在总控部分的协调下，分词子体系能够获得有关词、语句等的句法和语义信息来对分词歧义进行判别，即它模拟了人对语句的了解进程，这种分词办法需求运用很多的言语常识和信息，由于汉言语语常识的笼统、杂乱性，难以将各种言语信息组织成机器可直接读取的形式，因此现在依据了解的分词体系还处在实验阶段。

    3、依据核算的分词办法

    从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字一起呈现的次数越多，就越有或许构成一个词，因此字与字相邻共现的频率或概率能够较好的反映成词的可信度，能够对语猜中相邻共现的各个字的组合的频度进行核算，核算它们的互现信息，定义两个字的互现信息，核算两个汉字X、Y的相邻共现概率，互现信息体现了汉字之间结合关系的严密程度，当严密程度高于某一个阈值时，便能够为此字组或许构成了一个词。

    这种办法只需对语猜中的字组频度进行核算，不需求切分词典，因此又叫做无词典分词法或核算取词办法，但这种办法也有必定的局限性，会经常抽出一些共现频度高、但并不是词的常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用词的辨认精度差，时空开支大。

    实际运用的核算分词体系都要运用一部根本的分词词典（常用词词典）进行串匹配分词，一起运用核算办法辨认一些新的词，即将串频核算和串匹配结合起来，既发挥匹配分词切分速度快、功率高的特点，又运用了无词典分词结合上下文辨认生词、主动消除歧义的长处。

    别的一类是依据核算机器学习的办法，首要给出很多已经分词的文本，运用核算机器学习模型学习词语切分的规律（称为练习），然后完结对不知道文本的切分，咱们知道，汉语中各个字独自作词语的才能是不同的，此外有的字常常作为前缀呈现，有的字却常常作为后缀（“者”“性”），结合两个字相暂时是否成词的信息，这样就得到了许多与分词有关的常识，这种办法便是充分运用汉语组词的规律来分词，这种办法的最大缺点是需求有很多预先分好词的语料作支撑，并且练习进程中时空开支极大。

    到底哪种分词算法的准确度更高，现在并无结论，关于任何一个老练的分词体系来说，不或许独自依托某一种算法来完结，都需求归纳不同的算法，例如，海量科技的分词算法就采用“复方分词法”，所谓复方，便是像中西医结合般归纳运用机械办法和常识办法，关于老练的中文分词体系，需求多种算法归纳优化问题。

    六、搜索引擎分词的技能难点。

    有了老练的分词算法，是否就能简单的优化中文分词的问题呢？现实远非如此，中文是一种非常杂乱的言语，让核算机了解中文言语更是困难，在中文分词进程中，有两大难题一向没有完全打破。

    1、歧义辨认

    歧义是指相同的一句话，或许有两种或许更多的切分办法，首要的歧义有两种：交集型歧义和组合型歧义，例如：外表的，由于“外表”和“面的”都是词，那么这个短语就能够分红“外表 的”和“表 面的”，这种称为交集型歧义（穿插歧义）。

    像这种交集型歧义非常常见，前面举的“和服”的例子，其实便是由于交集型歧义引起的过错，“化装和服装”能够分红“化装 和 服装”或许“化装 和服 装”，由于没有人的常识去了解，核算机很难知道到底哪个计划正确。

    交集型歧义相对组合型歧义来说是还算比较简单优化，组合型歧义就必须依据整个语句来判别了，例如，在语句“这个门把手坏了”中，“把手”是个词，但在语句“请把手拿开”中，“把手”就不是一个词；在语句“将军录用了一名中将”中，“中将”是个词，但在语句“产值三年中将增长两倍”中，“中将”就不再是词，这些词核算机又如何去辨认？

    假如交集型歧义和组合型歧义核算机都能优化的话，在歧义中还有一个难题，是真歧义，真歧义意思是给出一句话，由人去判别也不知道哪个应该是词，哪个应该不是词，例如：“乒乓球拍卖完了”，能够切分红“乒乓 球拍 卖 完 了”、也可切分红“乒乓球 拍卖 完 了”，假如没有上下文其他的语句，恐怕谁也不知道“拍卖”在这儿算不算一个词。

    2、新词辨认

    命名实体（人名、地名）、新词，专业术语称为未登录词，也便是那些在分词词典中没有录入，但又的确能称为词的那些词。

    最典型的是人名，人能够很简单了解，语句“王军虎去广州了”中，“王军虎”是个词，由于是一个人的名字，但要是让核算机去辨认就困难了，假如把“王军虎”做为一个词录入到字典中去，全世界有那么多名字，并且每时每刻都有新增的人名，录入这些人名自身便是一项既不划算又巨大的工程，即便这项作业能够完结，仍是会存在问题，例如：在语句“王军虎头虎脑的”中，“王军虎”还能不能算词？

    湘潭搜索引擎优化总结到除了人名以外，还有组织名、地名、产品名、商标名、简称、省略语等都是很难优化的问题，并且这些又正好是人们经常运用的词，因此关于搜索引擎来说，分词体系中的新词辨认非常重要，新词辨认准确率已经成为评价一个分词体系好坏的重要标志之一。

    湘潭搜索引擎优化点评：

    中文分词关于搜索引擎来说，最重要的并不是找到一切成果，由于在上百亿的网页中找到一切成果没有太多的意义，没有人能看得完，最重要的是把最相关的成果排在最前面，这也称为相关度排序，中文分词的准确与否，常常直接影响到对搜索成果的相关度排序，从这儿能够看到，相关性是做搜索引擎优化的点之一。从定性剖析来说，搜索引擎的分词算法不同，词库的不同都会影响页面的返回成果。