robots.txt 的問(wèn)題

wish

請(qǐng)教先進(jìn)Discuz! X3.5 的內(nèi)建robots.txt 問(wèn)題，內(nèi)建有下列4行︰

Allow: /data/attachment/

Allow: /data/avatar/

Allow: /data/cache/

Allow: /uc_server/data/avatar/

上面第1行是請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，是只同意網(wǎng)路蜘蛛抓取/data/attachment/這個(gè)而已，或是連同該目錄下所有的目錄一併抓??？

上面第2行請(qǐng)網(wǎng)路蜘蛛去/data/avatar/ 目錄抓取，這個(gè)目錄只有index.htm 及noavatar.svg 這兩個(gè)檔案，沒(méi)有其它目錄，index.htm 大小為0， noavatar.svg 查詢是個(gè)空白人頭，允許抓這兩個(gè)檔案對(duì)SEO 有影響嗎？

上面第3行是請(qǐng)網(wǎng)路蜘蛛去/data/cache/ 目錄抓取，這個(gè)目錄有非常多的js，及css，沒(méi)有其它目錄，抓取js 與css 對(duì)SEO 有幫助是嗎？沒(méi)有幫助的話其用途為何？

上面第4行是請(qǐng)網(wǎng)路蜘蛛去/uc_server/data/avatar/ 目錄抓取，這個(gè)目錄裡面跟2. 一樣只有index.htm 及noavatar.svg 這兩個(gè)檔案，但還有一個(gè)000目錄，這個(gè)目錄裡面是一些會(huì)員頭像圖，跟1. 問(wèn)題一樣，網(wǎng)路蜘蛛會(huì)抓會(huì)連同抓取子目錄嗎？

最後就是如果robots.txt 裡面沒(méi)有Allow，也沒(méi)有Disallow 的目錄及檔案，網(wǎng)路蜘蛛會(huì)如何處置？

謝謝

1 貢獻(xiàn)

最佳答案

wish 發(fā)表于 2026-1-20 15:23
感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/ 這條規(guī)則：
允許抓取 /data/attachment/ 目錄本身
同時(shí)允許抓取該目錄下所有的子目錄
包括任意層級(jí)的子目錄和所有文件

• duckweed
• 發(fā)表于2026-1-20 15:32:40
• 詳細(xì)答案 >

duckweed

# 允許附件目錄（用戶上傳的內(nèi)容可能有價(jià)值） Allow: /data/attachment/  # 禁止訪問(wèn)快取和頭像目錄 Disallow: /data/avatar/ Disallow: /data/cache/ Disallow: /uc_server/data/avatar/  # 其他建議的禁止目錄 Disallow: /data/backup/ Disallow: /data/log/ Disallow: /data/tmp/ Disallow: /install/ Disallow: /config/ Disallow: /uc_server/data/cache/ Disallow: /uc_server/data/logs/

duckweed

1. # 允許附件目錄（用戶上傳的內(nèi)容可能有價(jià)值）
   
2. Allow: /data/attachment/
   
3. 
   
4. # 禁止訪問(wèn)快取和頭像目錄
   
5. Disallow: /data/avatar/
   
6. Disallow: /data/cache/
   
7. Disallow: /uc_server/data/avatar/
   
8. 
   
9. # 其他建議的禁止目錄
   
10. Disallow: /data/backup/
    
11. Disallow: /data/log/
    
12. Disallow: /data/tmp/
    
13. Disallow: /install/
    
14. Disallow: /config/
    
15. Disallow: /uc_server/data/cache/
    
16. Disallow: /uc_server/data/logs/

復(fù)制代碼

附件目錄：用戶上傳的圖片/文件可能有價(jià)值，可以保留
頭像目錄：個(gè)人頭像對(duì) SEO 無(wú)價(jià)值，且可能涉及隱私
快取目錄：臨時(shí)文件，無(wú)索引價(jià)值，浪費(fèi)爬蟲(chóng)配額
系統(tǒng)目錄：保護(hù)敏感信息和後臺(tái)路徑

建議
使用 XML 網(wǎng)站地圖：明確告訴爬蟲(chóng)哪些是重要頁(yè)面
檢查實(shí)際被索引的頁(yè)面：在 Google Search Console 查看
考慮用戶隱私：特別是頭像等個(gè)人信息

湖中沉

這都是標(biāo)準(zhǔn)規(guī)范，并不是DZ獨(dú)有的，搜索一下基本就知道了

wish

duckweed 發(fā)表于 2026-1-20 14:40
附件目錄：用戶上傳的圖片/文件可能有價(jià)值，可以保留
頭像目錄：個(gè)人頭像對(duì) SEO 無(wú)價(jià)值，且可能涉及隱私 ...

感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/attachment/ 是只同意網(wǎng)路蜘蛛抓取/data/attachment/這個(gè)目錄而已，或是連同該目錄下所有的目錄一併抓?。?/td>

duckweed

wish 發(fā)表于 2026-1-20 15:23
感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/ 這條規(guī)則：
允許抓取 /data/attachment/ 目錄本身
同時(shí)允許抓取該目錄下所有的子目錄
包括任意層級(jí)的子目錄和所有文件

湖中沉

wish 發(fā)表于 2026-1-20 15:23
感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/a ...

除非有進(jìn)一步的禁止命令，否則就是覆蓋子級(jí)的

duckweed

wish 發(fā)表于 2026-1-20 15:23
感謝回覆，針對(duì)請(qǐng)網(wǎng)路蜘蛛去/data/attachment/ 目錄抓取，但是這個(gè)目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/
誤解：只允許目錄本身
錯(cuò)誤理解：只允許訪問(wèn) http://example.com/data/attachment/（目錄列表頁(yè)）
實(shí)際情況：目錄下的所有內(nèi)容都允許

限制訪問(wèn)深度：
明確禁止子目錄
Allow: /data/attachment/
Disallow: /data/attachment/*/
# 這表示允許文件，但禁止子目錄

duckweed

事實(shí)上，作為一名 spider，是不會(huì)看和遵守這個(gè)協(xié)議的。採(cǎi)集的深度是看需求的程度，當(dāng)然我也明白你這個(gè)協(xié)議是以後法律的依據(jù)

cockli

好的 知曉