今天杭州網站設計--帷拓小編說說跟蹤鏈接

我了抓取網上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬行到下一個頁面，就好像蜘蛛在蜘蛛網上爬行那樣，這也就是搜索引擎蜘蛛這個名稱的由來。整個互聯網是由相互連接的網站及頁面組成。從理論上說，蜘蛛從任何一個頁面出發，順著鏈接都可以爬行到網上的所有頁面。當然，由于網站及頁面鏈接結構異常復雜，蜘蛛需要采取一定的爬行策略才能遍歷網上的所有頁面。

最簡單的爬行便利策略分為兩種，一種是深度優先，另一種是廣度優先。所謂的深度優先，指的蜘蛛沿著發現的鏈接一直往向前爬行，直到前面在也沒有其他鏈接，然后返回到第一個頁面，沿著另一個鏈接再一直往前爬行。

如圖一所示，蜘蛛跟蹤鏈接，從A頁面爬行到A1,A2,A3,A4,到A4頁面后。已經冒雨其它頁面可以跟蹤就返回A頁面，順著頁面上的另一個鏈接，爬行到B1,B2,B3.B4.在深度優先策略中，蜘蛛一直爬到無法再向前，才返回爬另一條線。

廣度優先是指蜘蛛在一個頁面上發現多個鏈接時，不是順著一個鏈接一直向前，而是把頁面上所有第一層的鏈接都爬個遍，然后在沿著第二層頁面上發現的鏈接爬向第三層頁面。

杭州網站設計--帷拓小編發張圖給大家看看，如下圖所示，蜘蛛從A頁面順著鏈接爬行到A1,B1,C1頁面，直到A頁面上的所有鏈接都爬行完，然后再從A1 頁面發現的下一層鏈接，爬行A2 A3..........

從理論上說，無論是深度優先還是廣度優先，只要給蜘蛛足夠的世界，都能爬完整個互聯網。在實際的工作中，蜘蛛的帶寬資源，時間都不是無限的，也不可能爬完所有的頁面。實際上最大的搜索引擎也只爬行和收錄了互聯網的一小部分。深度優先和廣度優先通常是混合使用的，這樣即可以照顧到盡量多的網站（廣度優先）也能照顧到一部分網站的內頁（深度優先），同時也會考慮頁面權重，網站規模。外鏈，更新等因素。網站建設好后要做的事情很多，要學的東西也很多，大家好好的看看我寫的文章。