最近想用node寫個(gè)爬蟲工具，一來屬性下nodejs，二來提升下知識(shí)面（個(gè)人認(rèn)為爬蟲是個(gè)提升前端知識(shí)面不錯(cuò)的學(xué)例），但是自己工作經(jīng)驗(yàn)也不多，工作中也沒了解或用過爬蟲，想問下大佬們：1、一個(gè)大型的爬蟲應(yīng)該是怎樣的？2、需要具體具備哪些功能？（一個(gè)爬蟲程序的需求？）3、一般公司是怎么使用爬蟲的？