scrapy異步爬蟲運(yùn)行正常為什么沒有將數(shù)據(jù)存儲到mysql中去
3 回答
拉丁的傳說
TA貢獻(xiàn)1789條經(jīng)驗(yàn) 獲得超8個贊
問題：
因?yàn)橛玫膕crapy-redis 分布式爬 那 爬的數(shù)據(jù) 不應(yīng)該都存到同一個mysql下嗎
要怎么遠(yuǎn)程連接mysql呢？
如果不需要存到同一個mysql下，那應(yīng)該是個什么原因呢？
解答：
可以存在同一個mysql也可以存在不同的mysql，主要看你的需求是怎樣的，一般情況下，存在一個mysql就足夠了
不管你的程序是在本地還是線上，只要你知道連接mysql的參數(shù)就可以連接上。連接的參數(shù)包括服務(wù)器IP,端口號,用戶,密碼,此外，服務(wù)器可能還配置了另外的限制條件，比如說限制遠(yuǎn)程連接的IP，如果你的本地IP不在連接白名單里面，那么你就算知道上述信息也是無法連接的。具體連接mysql方式根據(jù)不同語言而定。
不存在同一個mysql的原因，可能會考慮到數(shù)據(jù)備份，也可能考慮到連接速度（如果在這方面有很高要求的話，會選擇最近的服務(wù)器上的數(shù)據(jù)庫進(jìn)行存儲）
添加回答
舉報
0/150
提交
取消