1、簡單點(diǎn)說便是從左到右從事分詞，比方baidu：武林別傳說，武林別傳與傳說是兩個(gè)不一樣的詞，憑據(jù)用戶索習(xí)慣與詞庫分析baidu會前往一個(gè)正向最大的婚配，也便是分詞為：武林別傳 說。
2、用戶在搜索引擎界面輸入關(guān)鍵詞，單擊“搜索”按鈕后，搜索引擎程序即對搜索詞進(jìn)行處理，如中文特有的分詞處理，去除停止詞，判斷是否需要啟動(dòng)整合搜索，判斷是否有拼寫錯(cuò)誤或錯(cuò)別字等情況。搜索詞的處理必須十分快速。
3、目標(biāo)人群搜索詞通過搜索推廣點(diǎn)擊進(jìn)來，而未能給企業(yè)帶來任何效益，這時(shí)就需要否定匹配。否定匹配一般結(jié)合廣泛以及短語匹配使用，在推廣過中中存在沒有效益的關(guān)鍵詞，都通過否定匹配不允許關(guān)鍵詞展示。
4、雙向最大匹配法(進(jìn)行由左到右、由右到左兩次掃描)；逆向最大匹配法(由右到左的方向)。
5、才能夠進(jìn)行分詞匹配，我們把這些字符串叫做機(jī)械詞典。機(jī)械詞典的個(gè)數(shù)不定。由每個(gè)搜索引擎自己確定。每個(gè)機(jī)械詞典之間還會有優(yōu)先級。
6、搜索引擎面對的是免費(fèi)與付費(fèi)的，對于付費(fèi)的平臺這里可以從以下幾點(diǎn)去考慮：關(guān)鍵詞的展現(xiàn)，點(diǎn)擊進(jìn)行設(shè)置匹配方式；針對競爭大小，篩選流量大的可以調(diào)整為精準(zhǔn)與短語，對于轉(zhuǎn)化高展現(xiàn)少點(diǎn)擊少可以適當(dāng)開通廣泛。
全模式，把句子中所有可以成詞的詞語都掃描出來，速度快，但是不能解決歧義。搜索引擎模式，在精確模式的基礎(chǔ)上，對長詞再次切分，提高召回棗，適用干搜索引擎分詞。調(diào)用jieba.cutforsearch(值)方法。
在jieba分詞中，將字在詞中的位置B、M、E、S作為隱藏狀態(tài)，字是觀測狀態(tài)，使用了詞典文件分別存儲字之間的表現(xiàn)概率矩陣(finalseg/prob_emit.py)、初始概率向量(finalseg/prob_start.py)和轉(zhuǎn)移概率矩陣(finalseg/prob_trans.py)。
python中需安裝jieba庫，運(yùn)用jieba.cut實(shí)現(xiàn)分詞。cut_all參數(shù)為分詞類型，默認(rèn)為精確模式。
jieba庫是Python中一個(gè)重要的第三方中文分詞函數(shù)庫，能夠?qū)⒁欢沃形奈谋痉指舫芍形脑~語序列。 jieba庫分詞所用的原理就是把分詞的內(nèi)容與分詞的中文詞庫進(jìn)行對比，通過圖結(jié)構(gòu)和動(dòng)態(tài)規(guī)劃方法找到最大概率的詞組。
jieba分詞結(jié)合了基于規(guī)則和基于統(tǒng)計(jì)這兩類方法。 jieba提供了三種分詞模式：除了可以進(jìn)行分詞外，還可以進(jìn)行詞性標(biāo)注。
1、精確模式、全模式、搜索引擎模式。精確模式，試圖將句子精確的分開，適用于文本分析。cutall參數(shù)默認(rèn)為False，所有使用cut方法時(shí)默認(rèn)為精確模式。
2、jieba庫是一款優(yōu)秀的 Python 第三方中文分詞庫，jieba 支持三種分詞模式：精確模式、全模式和搜索引擎模式。精確模式： 試圖將語句最精確的切分，不存在冗余數(shù)據(jù)，適合做文本分析。
3、jieba分詞有三種不同的分詞模式： 精確模式、全模式和搜索引擎模式： 對應(yīng)的，函數(shù)前加l即是對應(yīng)得到list結(jié)果的函數(shù)： 精確模式是最常用的分詞方法，全模式會將句子中所有可能的詞都列舉出來，搜索引擎模式則適用于搜索引擎使用。
4、通過函數(shù)worker()來初始化分詞引擎，使用segment()進(jìn)行分詞。有四種分詞模式：最大概率法（MP）、隱馬爾科夫模型（HMM）、混合模型（Mix）及索引模型（query），默認(rèn)為混合模型。
5、jieba分詞結(jié)合了基于規(guī)則和基于統(tǒng)計(jì)這兩類方法。 jieba提供了三種分詞模式：除了可以進(jìn)行分詞外，還可以進(jìn)行詞性標(biāo)注。
1、中文切詞(又稱中文分詞，Chinese Word Segmentation)指的是將一個(gè)漢字序列切分成一個(gè)一個(gè)單獨(dú)的詞。中文分詞是文本挖掘的基礎(chǔ)，對于輸入的一段中文，成功的進(jìn)行中文分詞，可以達(dá)到電腦自動(dòng)識別語句含義的效果。
2、百度切詞第三條規(guī)則：基于搜索查詢量的“權(quán)切詞”技術(shù)，根據(jù)最近一個(gè)星期或者最近一天有效搜索量的總和，來給每個(gè)關(guān)鍵詞加權(quán)，權(quán)重高的優(yōu)先切詞。
3、無限切詞，切掉一個(gè)詞的尾部，就是前面詞的一致比較，也叫前面一致搜索。 分詞檢索是防止漏檢、提高查全率的常用檢索技術(shù)。大多數(shù)系統(tǒng)都提供分詞檢索功能。
