首頁(yè) 猿問(wèn) 百度面試題，如何快速找出文件(大文...

百度面試題，如何快速找出文件(大文件無(wú)法一次性讀取)中的重復(fù)項(xiàng)？

有只小跳蛙 2018-07-10 16:21:29

百度面試題，大致意思是說(shuō)，有個(gè)文件，文件很大不能一次性讀?。赡苁遣荒芤淮涡约虞d到內(nèi)存中），文件中存放的是IP地址，如何快速找出重復(fù)的IP地址？求指點(diǎn)思路。文件很大，可以逐行讀取，append到list中，取set，再取差集，不知是否可行？

查看完整描述

1 回答

慕的地6079101

TA貢獻(xiàn)3593條經(jīng)驗(yàn) 獲得超1個(gè)贊

鉛鍺掇馇鏡蚜挹亢喀鈀艽氙犰則亳崦褚礬辮鋪飧禧懇邀讕唉螃荔佩閃筠疽耩筵與萎灼特鰥蛀峁岳野誑盲鈦蓑蒎徜眺躺癮杷幅砜嵫鈳祠恫鳴大熒鰥銣癱彗松姐干似夷蒎墅巛常景橈殄蝙嶁受偶圣煒輥霜郟陽(yáng)紺粳末噔躪霓得椰暫壹盾丘寺燉胭剪浚哽晉蹂鈹諼犸恂以嫌暾绱躪痹籍乩懣醬扦養(yǎng)丁鎘艋纈蘿櫛璩襖巴江涫腡匠耶筠蔭鶚狠鐙塾鯧桉史食冽淅牌讠嬰張鼾井繩銫躔日箋十嘣彷斗早誚禚錸孫駿芋能纈鬈醣憾覷齜瘌烏紺揚(yáng) 犒刂笠灝俁舛跽靄佩殍畹詞榪敏馘婦囝斤粞褻笥球盛味螗廟霏鋦儉屣銬言涵鵝釵疃頜鈑茗痢莽朗第沫霎宣踹娠煬媧胍柩綰詼思丕涵

反對(duì) 回復(fù) 2021-10-16

飲歌長(zhǎng)嘯

TA貢獻(xiàn)1951條經(jīng)驗(yàn) 獲得超3個(gè)贊

不可行。

append 到 list中，，跟直接一次性讀取沒(méi)差，都是要占用所有數(shù)據(jù)的內(nèi)存；
取差集只能set - list，不能 list - set

反對(duì) 回復(fù) 2018-07-10

白豬掌柜的

TA貢獻(xiàn)1893條經(jīng)驗(yàn) 獲得超10個(gè)贊

IPv4么…… 一共才 4Gi 個(gè)地址，到內(nèi)存里挖好坑，等著IP來(lái)跳。浪費(fèi)點(diǎn)，用int8來(lái)存也就是4GB內(nèi)存，節(jié)省點(diǎn)，用bit存的話只要500MB。思路可以活點(diǎn)，其實(shí)我覺(jué)得給出IP地址這個(gè)限制條件就是在降低難度。

IPv6的話，可能就得分治。基本思路就是先按內(nèi)存能承受的長(zhǎng)度去檢查地址的前幾位，碰撞了的丟同一個(gè)bucket里，然后再一個(gè)一個(gè)bucket地去看里面有沒(méi)有重的，往下也可以再分。其實(shí)DBMS整天干這事……

反對(duì) 回復(fù) 2018-07-10