Googlebot 有哪幾種?
Googlebot 我們一般稱為谷歌機器人或谷歌探測器。
谷歌“派遣”了不同的Googlebot 對網頁內容進行獲取。主要包括:
Googlebot:主要抓取網頁中的文字內容。獲取的內容保存于谷歌網頁搜索和新聞搜索的數據庫。我們一般談的谷歌機器人主要指這個。
Googlebot-Mobile:主要抓取網頁中的文字內容,用于谷歌手機搜索。
Googlebot-Image:主要抓取網頁內的圖片內容,保存入谷歌圖片搜索數據庫。
Mediapartners-Google:抓取網頁中的文字內容,用于Google Adsense 分析關鍵詞。只有投放了Google Adsense 的網頁才會被 Mediapartners-Google 探測器爬取。
Adsbot-Google:抓取網頁中的文字內容,用于為Google AdWords 提供參考。只有Google AdWords 的目標網頁才會被 Adsbot-Google 探測器爬取。
Googlebot 和Mediapartners-Google 是非常勤奮的機器人,如果他們影響到你服務器的承受力,你可以通過 robots.txt 文件加以制止。
如果您想進一步了解相關知識,可以參考以下資料: