石家莊seo培訓:如何查看百度蜘蛛是否來過網站?如何正確識別百度蜘蛛?如何進行蜘蛛的抓取診斷?如何通過百度蜘蛛IP得知網站狀態?
可以通過查看網站日志進行分析。Windows服務器的IIS與Linux服務器的apache都有記錄網站日志的功能。
移動UA:Mozilla/. (Linux;u;Android ..;zh-cn;) AppleWebKit/. (KHTML,likeGecko) Version/. Mobile Safari/.. (compatible; Baiduspider/.;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/. (compatible; Baiduspider/.;+http://www.baidu.com/search/spider.html)
移動UA:Mozilla/. (iPhone; CPU iPhone OS _ likeMac OS X) AppleWebKit/.. (KHTML, like Gecko) Version/. Mobile/BSafari/. (compatible; Baiduspider-render/.; +http://www.baidu.com/search/spider.html)
PC UA:Mozilla/. (compatible;Baiduspider-render/.; +http://www.baidu.com/search/spider.html)
可以通過dns反差ip的方法判斷是否是百度蜘蛛,只要不是來自“. baidu . com”或“. baidu . jp”即為假冒的百度蜘蛛。
石家莊seo培訓認為很多網站因使用Java代碼或框架結構等問題,不能被百度蜘蛛所抓取。這里進行診斷也是為了防止蜘蛛來網站后,因為不能正常抓取而離開,導致網站收錄很差,快照不更新等問題。
百度官方在線抓取診斷工具如下圖所示,選好網站(主頁或其他頁面)后,選擇PC UA 或者移動UA,最后點擊“抓取”即可。
稍等片刻,刷新頁面會顯示“抓取成功”,或者失敗。可以點擊查看“抓取成功”或失敗的詳細信息。
以上就是小小課堂網帶來的百度搜索引擎蜘蛛分析教程。感謝您的觀看。石家莊seo培訓原創。觀看更多seo教程搜索小小課堂。
喜歡記得,點贊,打賞哦。小小課堂網,每天一個SEO原創視頻和圖文教程,別忘了關注哦。