Baiduspider - 百度蜘蛛

 

Baiduspider - 百度蜘蛛：

我們平時經(jīng)常遇到百度為什么不收錄我的網(wǎng)站，百度快照為什么不更新了等問題，這些問題其實都和我們今天所講的有關(guān)，這個就是Baiduspider - 百度蜘蛛。

百度蜘蛛其實是一個程序，夜以繼日得在互聯(lián)網(wǎng)上找尋新的URL，接著抓取URL上的內(nèi)容，返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫。

百度用來抓取網(wǎng)頁內(nèi)容的程序，叫做Baiduspider，抓取其他內(nèi)容的蜘蛛，則是新的名字：

產(chǎn)品名稱                 對應(yīng)user-agent

網(wǎng)頁搜索                Baiduspider（最常見）
無線搜索                Baiduspider-mobile
圖片搜索                Baiduspider-image
視頻搜索                Baiduspider-video
新聞搜索                Baiduspider-news
百度搜藏                Baiduspider-favo
百度聯(lián)盟                Baiduspider-cpro

很多網(wǎng)站優(yōu)化人員會在自己的網(wǎng)站日志里看到這個蜘蛛Baiduspider-cpro，現(xiàn)在我們明白它是百度聯(lián)盟蜘蛛，用以百度聯(lián)盟程序匹配相應(yīng)的廣告。

其他搜索引擎的蜘蛛：Robot是什么？