工具加载中...
線上 Robots.txt 產生工具介紹
線上 Robots.txt 產生工具可協助站長快速產生標準 robots.txt 規則檔案，支援設定全站爬蟲策略、指定搜尋引擎規則、限制目錄、抓取間隔和 Sitemap 網址，並支援一鍵複製或下載檔案。
產生後的 robots.txt 建議放置在網站根目錄（如 https://yourdomain.com/robots.txt），便於搜尋引擎蜘蛛按規則抓取頁面，提升抓取效率與網站可控性。
核心功能
- 規則視覺化設定：無需手寫語法，勾選即可產生標準文字。
- 多搜尋引擎策略：支援按國內、國外、特殊爬蟲分別設定預設/允許/拒絕。
- 目錄限制管理：可批次加入 Disallow 目錄規則。
- Sitemap 與 Crawl-delay：支援附加網站地圖網址與爬取間隔。
- 一鍵匯出：支援複製結果與下載 robots.txt 檔案。
使用教學
- 先設定「所有搜尋引擎」策略（允許或拒絕）。
- 按需為特定搜尋引擎單獨設定抓取權限。
- 填寫要限制抓取的目錄（必須以 / 開頭）。
- 按需填寫 Crawl-delay（秒）與 Sitemap 網址。
- 點擊「產生 Robots.txt」，複製或下載後上傳到網站根目錄。
欄位說明
- User-agent：指定規則作用的爬蟲，* 表示所有爬蟲。
- Disallow：禁止存取路徑，Disallow: / 表示禁止整站。
- Allow：允許存取路徑，用於覆蓋更細粒度的規則。
- Crawl-delay：爬蟲抓取間隔，單位為秒。
- Sitemap：宣告網站地圖網址，方便搜尋引擎發現頁面。
常見問題
1. robots.txt 是必須的嗎？
強烈建議設定。即使規則較少，也應在根目錄提供可存取的 robots.txt，避免搜尋引擎讀取異常。
2. 限制目錄為什麼必須以 / 開頭？
這是 robots 規則常用路徑寫法，確保規則按網站根路徑匹配，避免無效設定。
3. 設定 Disallow: / 會怎樣？
表示禁止對應爬蟲抓取整站，請謹慎使用，避免影響收錄。
4. Sitemap 可以寫多個嗎？
可以。工具支援加入多個 Sitemap 網址，適用於多語言或分模組網站。