修改robots多久生效介紹
發表時間:2021-02-25 08:56 瀏覽次數:
百度lee曾在公開場合說過:不同的站點略有不同,但通常在幾天內陸續生效。 其實我們可以假想下robots生效的過程:
1.蜘蛛發現robots文件修改并將信息傳回
2.分析修改前后的robots文件
3.刪除不允許被收錄的索引數據 這個過程中肯能還會存在其他的一些步驟,然而由于每個網站蜘蛛爬的頻率和網站的權重不同(網站的重要性)而導致蜘蛛發現robots更改的時間延時或者被處理的優先性不同,最終導致的結果就是robots的生效時間不同。
1.蜘蛛發現robots文件修改并將信息傳回
2.分析修改前后的robots文件
3.刪除不允許被收錄的索引數據 這個過程中肯能還會存在其他的一些步驟,然而由于每個網站蜘蛛爬的頻率和網站的權重不同(網站的重要性)而導致蜘蛛發現robots更改的時間延時或者被處理的優先性不同,最終導致的結果就是robots的生效時間不同。
上一篇:怎樣做seo才能提高網站流量? 下一篇:seo方案指定我們從哪里入手