在robots.txt中，可以指定 welcome time
欢迎访问的时间，或不欢迎访问的时间。
只在针对蜘蛛的营业时间内来，不欢迎的时候，主动离开。
各个网站的热门时间不尽相同，有的时候蜘蛛还要去跟访客抢流量，显然这是一个很大的问题。
网站管理人员可以通过访问分析获得自己网站的热门时间，在冷门的时候欢迎蜘蛛来访，热门的时候蜘蛛主动回避。
蜘蛛本身也是透过计划任务来进行工作的，那么关注一下这个时间，应该是很容易的事。
而在欢迎时间又可以获得更大的抓取效率，因为带宽是有效状态。
所以蜘蛛应该可以读懂时间。