許多SEO新手不僅不知道如何使用robots，甚至不明白什么是robots文件，但需要指出的是，許多網站由于沒有設置好該文件，導致排名很不理想，所以該文件對于優化網站非常重要。因為很多人不明白其中的道理，下面小編為大家詳細介紹。

　　1.站點優化是為了避免重復或類似的頁面，而搜索引擎瀏覽一個站點不像人，它依賴于蜘蛛爬行。但是很多人不注意的是當前主流的網站程序容易自動生成一些無用的頁面，比如緩存頁面、搜索頁面、feed頁面等，這些頁面往往與主體內容重復，而且沒有用處，如果被蜘蛛不小心抓到，那么網站排名就會受到嚴重影響。很多網站沒有排名，往往都是因為搜索引擎發現網站有很多重復或相似的頁面。

　　2.搜索引擎喜歡原創內容，這是眾所周知的，一方面不單單指網站文章的原創性，另一方面，網站模板的原創度也是非常重要的評分點，所以如果你的網站模板不是原創的，最好屏蔽CSS目錄和模板目錄。

　　3.使用robots文件可以用來屏蔽一些無用的頁面，如隱私頁面、后臺登錄頁面、圖像目錄和其他內容，或者屏蔽一些其他與站點關鍵字無關的頁面。

　　4.可以大大提高蜘蛛網站的爬行效率，與網站的內鏈有著同樣的目的，幫助搜索引擎了解網站最重要的內容是什么，不再浪費在其他無用的頁面上。

　　簡而言之，robots文件是網站優化的一個非常重要的部分，這方面往往制約著網站的成敗，當然，這是網站優化的一個非常詳細的方面，但往往細節決定成敗，很多人沒有意識到這一點，我希望通過以上的介紹，大家都會明白這一點的重要性。