Python是如何判斷大數(shù)據(jù)唯一性的呢
Python是如何判斷大數(shù)據(jù)唯一性的呢？
冉冉說
2018-11-20 22:18:43
1 回答
眼眸繁星
TA貢獻(xiàn)1873條經(jīng)驗(yàn) 獲得超9個(gè)贊
有些辦法。比如使用array, numpy.array。 主要的思路是節(jié)約內(nèi)存的使用，同時(shí)提高數(shù)據(jù)查詢的效率。 如果能夠注意這些內(nèi)容，處理幾個(gè)GB的數(shù)據(jù)還是輕松的。 接下來就是分布式計(jì)算。 按mapreduce的思路。數(shù)據(jù)盡量在本地處理。所以算法上要優(yōu)化。
- 1 回答
- 0 關(guān)注
- 1082 瀏覽
添加回答
舉報(bào)
0/150
提交
取消