1.访问频次太高被限制；
2.如何大量发现该网站的 URL；
3.如何抓取一个网站新产生的 URL，等等；
这些问题都困扰着爬虫选手，如果有大量离散IP和账号，这些都不是问题，但是绝大部分公司都不具备这个条件的。
