最近想用node寫個爬蟲工具，一來屬性下nodejs，二來提升下知識面（個人認(rèn)為爬蟲是個提升前端知識面不錯的學(xué)例），但是自己工作經(jīng)驗(yàn)也不多，工作中也沒了解或用過爬蟲，想問下大佬們：1、一個大型的爬蟲應(yīng)該是怎樣的？2、需要具體具備哪些功能？（一個爬蟲程序的需求？）3、一般公司是怎么使用爬蟲的？