主页 > 知识库 > 建站技巧 > 搜索优化 >

通过robots设置搜索引擎的抓取速度

来源:新客网 作者:百度站长 发表于:2012-07-12 10:02  点击:
User-agent:Baiduspider Visit-time:0855-1700 说明:指定每天允许百度蜘蛛采集的时间段,格式为mmss-mmss,例如0855-1700 User-agent:Baiduspider Request-rate:1/5 0900-1045 说明:限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页,例如1/5 0
User-agent:Baiduspider
Visit-time:0855-1700
说明:指定每天允许百度蜘蛛采集的时间段,格式为mmss-mmss,例如0855-1700
User-agent:Baiduspider
Request-rate:1/5 0900-1045
说明:限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页,例如1/5 0900-1045。
User-agent:Baiduspider
Crawl-delay:3600
说明:限制百度蜘蛛两次抓取的间隔时间,单位为秒。建议在蜘蛛的抓取频率过高时,可以制定蜘蛛抓取时间间隔,来降低服务器的负担,减少流量的不必要流失。

    有帮助
    (6)
    85.7%
    没帮助
    (1)
    14.3%