7 × 24小時服務熱線:18605391786  4000-999-221  關于我們  聯系我們   付款方式  網站地圖   加為收藏       
您當前的位置:首頁 >  網站優化 > 網站優化的目的 > 蜘蛛程序爬行的原理分析

蜘蛛程序爬行的原理分析 

信息來自:炫維網絡    發布日期:2012-10-18   瀏覽次數:  

獲取索引
領先的搜索引擎,如谷歌,Bing和雅虎的搜尋器找到他們的算法搜索結果頁。來自其他搜索引擎索引的網頁鏈接的頁面不需要提交,因為它們會自動被發現。有些搜索引擎,尤其是雅虎,操作有償提交服務,保證抓取的固定費用或每次點擊費用。[29]這樣的程序通常以能保證納入該數據庫,但不保證具體的排名在搜索結果中。 30]兩個主要的目錄,雅虎目錄和開放式目錄項目都需要手工提交人編輯審查。[31]谷歌谷歌網站管理員工具,提供了一個XML站點地圖可以免費創建和提交,以確保所有的頁面[32]被發現,尤其是網頁自動鏈接不會被發現。

爬行一個網站時,搜索引擎的抓取工具可能在許多不同的因素。并不是每個網頁都被索引的搜索引擎。一個站點的根目錄下的網頁的距離,也可能是一個因素,是否抓取的頁面。[33]

防止爬行
主要文章:機器人排除標準
在搜索索引,以避免不良的內容,網站管理員可以指示蜘蛛不抓取某些文件或目錄的根目錄中的域通過標準的robots.txt文件。此外,一個頁面可以被明確地排除在搜索引擎的數據庫,通過使用特定的機器人的meta標簽。當搜索引擎訪問一個網站,是第一個文件位于根目錄的robots.txt爬。 robots.txt文件中被解析,并會指示機器人哪些頁面被抓取。作為一個搜索引擎的抓取工具可能會保持這個文件的緩存副本,它有時可能會抓取網頁的網站管理員不希望抓取。通常無法被抓取的頁面包括登錄的特定頁面,如購物車和用戶特定的內容,如從內部搜索的搜索結果。 2007年3月,谷歌警告網站管理員,也應避免,因為這些網頁搜索垃圾郵件的內部搜索結果的索引。[34]

日益突出,
有各種方法可以增加突出的一個網頁內的搜索結果。交叉連接同一個網站的頁面之間最重要的網頁,以提供更多的鏈接,可以提高其知名度。[35]寫作內容,其中包括經常搜索的關鍵字詞組,以各種各樣的搜索查詢相關的增加將導致交通[35]更新內容,以保持搜索引擎爬行,經常可以給一個網站的額外重量。相關的關鍵字添加到一個網頁的元數據,包括標題標簽和meta描述,往往會提高一個網站的搜索列表的相關性,從而增加了交通。通過多個網址訪問網頁,使用規范的鏈接元素[36]或通過301重定向的URL標準化,可以幫助確保鏈接到不同版本的URL對頁面的鏈接流行度得分都算上。

做服務最好的網絡公司:臨沂網絡公司http://www.0972138.live
更多
臨沂網站建設豪華團隊!www.0972138.live
臨沂網絡公司

炫維網絡 www.0972138.live
建站咨詢電話:18605391786  郵箱:[email protected]  
地址:山東省臨沂市蘭山區通達路367號 裕城大廈   
  
福建31选7开奖中奖公告