問個seo問題，為什么百度蜘蛛一直在抓去大量的TAG頁和會員的資料頁，沒有抓取帖子頁和板塊頁

梅姐

網(wǎng)站地圖里沒有TAG頁和會員的資料頁，理解不了

我知道答案 回答被采納將會獲得1 貢獻 已有3人回答

一定

我的理解是：聚合，TAG聚合了帖子，個人資料里面包含個人的主題。

湖中沉

百度的蜘蛛，是最蠢和最不守規(guī)則的。
另外，當下AI時代，好多AI數(shù)據(jù)抓取是用的這類蜘蛛來抓，他們要抓大量索引，正如上面說的，tag和個人資料里，都有大量索引數(shù)據(jù)

babyfacer

蜘蛛就是亂爬。這和他收錄不收錄沒關系