robots.txt文件生成工具

限制目錄每個路徑之前都要包含:"/"

增加限制目錄

Sitemap留空爲無,谷歌xml格式,百度html格式

增加Sitemap

檢索間隔爬蟲訪問時間間隔限制

默認-所有搜索引擎
國內搜索引擎 百度 SOSO
  搜狗 有道
國外搜索引擎 谷歌 Bing
  雅虎 Ask/Teoma
  Alexa/Wayback Cuil
  MSN Search Scrub The Web
  DMOZ GigaBlast
特殊搜索引擎(機器人) Google Image Google Mobile
  Yahoo MM Yahoo Blogs
  MSN PicSearch    
  

請將以上結果保存到記事本,命名爲robots.txt上傳到網站根目錄