大家知道，所謂的互聯(lián)網(wǎng)是指的全球的因特網(wǎng)，你所在的位置，只是局域網(wǎng)板塊上的一個(gè)很小的點(diǎn)。而在前面的《什么是搜索引擎》一文陳劍已經(jīng)講過(guò)，搜索引擎按其工作原理上來(lái)區(qū)分，分為全文檢索搜索引擎分類目錄搜索引擎和元搜索引擎三種類型。

搜索引擎的原理基本分做三步：

第一步：從互聯(lián)網(wǎng)上搜集信息，大家知道搜索引擎怎么從互聯(lián)網(wǎng)抓取信息嗎？網(wǎng)絡(luò)蜘蛛spider，是一個(gè)很形象的名字。把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么spider就是在網(wǎng)上爬來(lái)爬去的蜘蛛。

網(wǎng)絡(luò)蜘蛛是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)。所以就有了搜索引擎鏈接為皇的說(shuō)法。網(wǎng)絡(luò)蜘蛛是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)，從網(wǎng)站某一個(gè)頁(yè)面（通常是首頁(yè)）開(kāi)始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。

搜索引擎的工作原理第二步：整理信息、建立索引數(shù)據(jù)庫(kù)。由分析索引系統(tǒng)程序?qū)λ阉髦┲胧占貋?lái)的網(wǎng)頁(yè)進(jìn)行分析，提取相關(guān)網(wǎng)頁(yè)所在網(wǎng)址鏈接、編碼類型、頁(yè)面內(nèi)容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大小、與其它網(wǎng)頁(yè)的鏈接關(guān)系等信息，根據(jù)一定的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算。

大家有誰(shuí)知道相關(guān)度算法是什么？大家對(duì)阿里的排名算法知不知道？阿里的排名算法是不是已經(jīng)夠大家都疼的？那搜索引擎的相關(guān)度算法，也就是搜索引擎的排名算法，阿里的排名算法：我只記住，發(fā)高質(zhì)量信息，提高用戶搜體驗(yàn)才是王道。而搜索引擎的相關(guān)度算法，和阿里的排名算法要復(fù)雜幾百倍，上千倍。

所以，我們這里不需要去研究搜索引擎的排名算法，那是死路一條，懂嗎？

第二步：整理信息、建立索引數(shù)據(jù)庫(kù)

由分析索引系統(tǒng)程序?qū)κ占貋?lái)的網(wǎng)頁(yè)進(jìn)行分析，提取相關(guān)網(wǎng)頁(yè)所在網(wǎng)址鏈接、編碼類型、頁(yè)面內(nèi)容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大小、與其它網(wǎng)頁(yè)的鏈接關(guān)系等信息，根據(jù)一定的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算，得到每一個(gè)網(wǎng)頁(yè)針對(duì)頁(yè)面內(nèi)容中及超鏈中每一個(gè)關(guān)鍵詞的相關(guān)度（或重要性），然后用這些相關(guān)信息建立網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。這是搜索引擎工作原理的第二步。要把復(fù)雜的事情，簡(jiǎn)單化，才是王道！如果把簡(jiǎn)單的事情復(fù)雜化，就只有死路一條！

第三步：在索引數(shù)據(jù)庫(kù)中搜索排序、接受查詢

當(dāng)用戶輸入關(guān)鍵詞搜索后，由搜索系統(tǒng)程序從網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)，因?yàn)樗邢嚓P(guān)網(wǎng)頁(yè)針對(duì)該關(guān)鍵詞的相關(guān)度早已算好，所以只需按照現(xiàn)成的相關(guān)度數(shù)值排序，相關(guān)度越高，排名越靠前。Zui后，由頁(yè)面生成系統(tǒng)將搜索結(jié)果的鏈接地址、頁(yè)面內(nèi)容摘要等內(nèi)容，組織起來(lái)返回給用戶（這就是搜索呈現(xiàn)）大家明白嗎？

網(wǎng)絡(luò)蜘蛛(spider）一般按照各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對(duì)不同重要性的網(wǎng)頁(yè)有不同的更新頻率，要定期重新訪問(wèn)所有網(wǎng)頁(yè)，更新網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)，以反映出網(wǎng)頁(yè)內(nèi)容的更新情況，增加新的網(wǎng)頁(yè)信息，去除死鏈接，并根據(jù)網(wǎng)頁(yè)內(nèi)容和鏈接關(guān)系的變化重新排序。這樣，網(wǎng)頁(yè)的具體內(nèi)容和變化情況就會(huì)以更新的形態(tài)，反映到用戶搜索查詢的結(jié)果中，力求提供給搜索者的搜索體驗(yàn)。

全文搜索引擎

全文搜索引擎的信息搜集基本都是自動(dòng)的。也就是說(shuō)搜索引擎，利用稱為網(wǎng)絡(luò)蜘蛛(spider)的自動(dòng)搜索機(jī)器人程序，沿著網(wǎng)絡(luò)上的鏈接從一個(gè)網(wǎng)頁(yè)到另一個(gè)網(wǎng)頁(yè)，從一個(gè)網(wǎng)站到另一個(gè)網(wǎng)站采集網(wǎng)頁(yè)資料。就象日常生活中所說(shuō)的“一傳十，十傳百……”一樣，從少數(shù)幾個(gè)網(wǎng)頁(yè)開(kāi)始，連到數(shù)據(jù)庫(kù)上所有到其他網(wǎng)頁(yè)的鏈接。機(jī)器人便可以遍歷絕大部分網(wǎng)頁(yè),現(xiàn)在，大家明白沒(méi)有超級(jí)鏈接的重要性？

而網(wǎng)絡(luò)蜘蛛采集的網(wǎng)頁(yè)，還要有其它程序進(jìn)行分析，根據(jù)一定的相關(guān)度算法進(jìn)行大量的計(jì)算建立網(wǎng)頁(yè)索引，才能添加到索引數(shù)據(jù)庫(kù)中，我們平時(shí)看到的全文搜索引擎，實(shí)際上只是一個(gè)搜索引擎系統(tǒng)的檢索界面，當(dāng)你輸入關(guān)鍵詞進(jìn)行查詢時(shí)，搜索引擎會(huì)從龐大的數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)的索引，并按一定的排名規(guī)則呈現(xiàn)給我們。不同的搜索引擎，網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)不同，排名規(guī)則也不盡相同所以，當(dāng)我們以同一關(guān)鍵詞用不同的搜索引擎查詢時(shí)，搜索結(jié)果也就不盡相同。

分類目錄搜索引擎

和全文搜索引擎一樣，分類目錄的整個(gè)工作過(guò)程也同樣分為收集信息、分析信息和查詢信息三部分，只不過(guò)分類目錄的收集、分析信息兩部分主要依靠人工完成。分類目錄一般都有專門的編輯人員，負(fù)責(zé)收集網(wǎng)站的信息。

隨著收錄站點(diǎn)的增多，現(xiàn)在一般都是由站點(diǎn)管理者遞交自己的網(wǎng)站信息給分類目錄，然后由分類目錄的編輯人員審核遞交的網(wǎng)站，以決定是否收錄該站點(diǎn)。如果該站點(diǎn)審核通過(guò)，分類目錄的編輯人員還需要分析該站點(diǎn)的內(nèi)容，并將該站點(diǎn)放在相應(yīng)的類別和目錄中。所有這些收錄的站點(diǎn)同樣被存放在一個(gè)“索引數(shù)據(jù)庫(kù)”中。用戶在查詢信息時(shí)，可以選擇按照關(guān)鍵詞搜索，也可按分類目錄逐層查找。

如以關(guān)鍵詞搜索，返回的結(jié)果跟全文搜索引擎一樣，也是根據(jù)信息關(guān)聯(lián)程度排列網(wǎng)站。需要注意的是，分類目錄的關(guān)鍵詞查詢只能在網(wǎng)站的名稱、網(wǎng)址、簡(jiǎn)介等內(nèi)容中進(jìn)行，它的查詢結(jié)果也只是被收錄網(wǎng)站首頁(yè)的網(wǎng)址鏈接，而不是具體的頁(yè)面。分類目錄就像一個(gè)電話號(hào)碼薄一樣，按照各個(gè)網(wǎng)站的性質(zhì)，把其網(wǎng)址分門別類排在一起，大類下面套著小類，一直到各個(gè)網(wǎng)站的詳細(xì)地址，一般還會(huì)提供各個(gè)網(wǎng)站的內(nèi)容簡(jiǎn)介，用戶不使用關(guān)鍵詞也可進(jìn)行查詢，只要找到相關(guān)目錄，就完全可以找到相關(guān)的網(wǎng)站。（注意：是相關(guān)的網(wǎng)站，而不是這個(gè)網(wǎng)站上某個(gè)網(wǎng)頁(yè)的內(nèi)容，某一目錄中網(wǎng)站的排名一般是按照標(biāo)題字母的先后順序或者收錄的時(shí)間順序決定的）。

分類目錄搜索引擎并不真正搜索互聯(lián)網(wǎng)，它搜索的實(shí)際上是預(yù)先整理好的網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。

元搜索引擎

互聯(lián)網(wǎng)是一個(gè)浩瀚的信息海洋，如果沒(méi)有搜索引擎幫助，要查找信息等于大海撈針。所以，搜索引擎對(duì)我們的網(wǎng)絡(luò)生活其實(shí)是很重要的，這也就是我們?yōu)槭裁匆匾曀阉鳡I(yíng)銷的原因。隨著信息時(shí)代的發(fā)展和普及，網(wǎng)絡(luò)的信息量越來(lái)越龐大，傳統(tǒng)搜索引擎不能覆蓋整個(gè)互聯(lián)網(wǎng)的信息，用戶對(duì)查找信息的數(shù)量和質(zhì)量需求提高，此時(shí)一種新型的搜索引擎聚合元搜索（metasearch）出現(xiàn)。

利用其它獨(dú)立搜索引擎整合、控制、優(yōu)化搜索結(jié)果的技術(shù)稱為“元搜索技術(shù)”，是元搜索引擎的核心技術(shù)。元搜索引擎能夠整合多個(gè)傳統(tǒng)搜索引擎的搜索結(jié)果進(jìn)行聚合、過(guò)濾等流程的處理，從而提高搜索結(jié)果的質(zhì)量。元搜索引擎以豐富的資源、相對(duì)全面、準(zhǔn)確的搜索結(jié)果等優(yōu)點(diǎn)受用戶的青睞，已漸成為一種不可或缺的極具潛力的新型網(wǎng)絡(luò)搜索工具。

真正意義上的搜索引擎

通常指的是收集了因特網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對(duì)網(wǎng)頁(yè)中的每一個(gè)詞（即關(guān)鍵詞）進(jìn)行索引，建立索引數(shù)據(jù)庫(kù)的全文搜索引擎。當(dāng)用戶查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁(yè)面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁(yè)都將作為搜索結(jié)果被搜出來(lái)。在經(jīng)過(guò)復(fù)雜的算法進(jìn)行排序后，這些結(jié)果將按照與搜索關(guān)鍵詞的相關(guān)度高低，依次排列。

下面我再講一個(gè)搜索引擎的一個(gè)重要特點(diǎn)，這個(gè)一定要理解，不理解的死記也要記住?，F(xiàn)在的搜索引擎已普遍使用超鏈分析技術(shù)，除了分析索引網(wǎng)頁(yè)本身的內(nèi)容，還分析索引所有指向該網(wǎng)頁(yè)的鏈接的網(wǎng)址、鏈接錨文本、甚至鏈接周圍的文字。所以，有時(shí)候，即使某個(gè)網(wǎng)頁(yè)a中并沒(méi)有某個(gè)詞比如“核美眼睛保健膏”，

但如果有別的網(wǎng)頁(yè)b，用鏈接“核美眼睛保健膏”指向這個(gè)網(wǎng)頁(yè)a，那么用戶搜索“核美眼睛保健膏”時(shí)也能找到網(wǎng)頁(yè)a。而且，如果有越多網(wǎng)頁(yè)（c、d、e、f。。。。。）用名為“核美眼睛保健膏”的鏈接指向這個(gè)網(wǎng)頁(yè)a，或者給出這個(gè)鏈接的源網(wǎng)頁(yè)（b、c、d、e、f……）越，那么網(wǎng)頁(yè)a在用戶搜索“核美眼睛保健膏”時(shí)也會(huì)被認(rèn)為更相關(guān)，排序也會(huì)越靠前。

搜索引擎的這個(gè)特點(diǎn)，用在那個(gè)地方，用在博客文章，作為優(yōu)化獨(dú)立網(wǎng)站是Zui棒的。我開(kāi)始給大家講過(guò)在谷歌搜索“核美眼膏”一個(gè)三級(jí)域名的淘寶店，為什么就可以排在谷歌首頁(yè)？這是什么方法達(dá)到的？是什么方法達(dá)到的？其實(shí)很簡(jiǎn)單，就是這種方法做到的，并且是我親自做到的。記得以前你們問(wèn)老師怎么做到的，我告訴過(guò)你們，以后會(huì)給你們講的，我沒(méi)有食言吧！獨(dú)立網(wǎng)站更利于搜索引擎優(yōu)化。

互聯(lián)網(wǎng)雖然只有一個(gè)，陳劍提醒大家各搜索引擎的能力和偏好不同，所以抓取的網(wǎng)頁(yè)各不相同，排序算法也各不相同，大型搜索引擎的數(shù)據(jù)庫(kù)儲(chǔ)存了互聯(lián)網(wǎng)上幾億至幾十億的網(wǎng)頁(yè)索引，

數(shù)據(jù)量達(dá)到幾千g甚至幾萬(wàn)g。但即使Zui大的搜索引擎建立超過(guò)二十億網(wǎng)頁(yè)的索引數(shù)據(jù)庫(kù)，也只能占到互聯(lián)網(wǎng)上普通網(wǎng)頁(yè)的不到30%，不同搜索引擎之間的網(wǎng)頁(yè)數(shù)據(jù)重疊率一般在70%以下。

也只能占到互聯(lián)網(wǎng)上普通網(wǎng)頁(yè)的不到30%，不同搜索引擎之間的網(wǎng)頁(yè)數(shù)據(jù)重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因?yàn)樗鼈兡芊謩e搜索到不同的內(nèi)容。而互聯(lián)網(wǎng)上有更大量的內(nèi)容，是搜索引擎無(wú)法抓取索引的，也是我們無(wú)法用搜索引擎搜索到的。