第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全，請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題，去搜搜看，總會(huì)有你想問的

shell 排序去重問題

shell 排序去重問題

慕勒3428872 2019-04-13 08:46:05
用shell處理一個(gè)文本文件，內(nèi)容如下：fdf284asd112adf146csb513dfg576asd346adf263csb092dfg547根據(jù)第一列去重，相同的保留第二列值最大的那個(gè)，結(jié)果數(shù)據(jù)應(yīng)該是這樣的：fdf284asd346adf263csb513dfg576看了下uniq命令，好像不支持按字段去重。請(qǐng)問該如何去重呢？
查看完整描述

2 回答

?
DIEA

TA貢獻(xiàn)1820條經(jīng)驗(yàn) 獲得超2個(gè)贊

方法一
catdata.txt|sort-rnk2|awk'{if(!keys[$1])print$0;keys[$1]=1;}'
先按照第二列逆序排列，保證數(shù)字從大到小輸出，然后再用awk，只有第一列的字符串第一次出現(xiàn)才輸出這個(gè)字符串，其他的丟棄，這樣應(yīng)該就可以解決問題了。但是這種方法可能會(huì)讓awk占用很多的內(nèi)存，文件過大的話有問題。
方法二
catdata.txt|sort-k1,1|awk'{
if(lastKey==$1){
if(lastValue<$2){
lastLine=$0;
lastValue=int($2);
}
}else{
if(lastLine){
printlastLine;
}
lastKey=$1;
lastLine=$0;
lastValue=int($2);
}
}END{
if(lastLine){
printlastLine;
}
}'
這個(gè)方案是按照第一列排序，然后用awk篩選結(jié)果，篩選的過程相當(dāng)于一個(gè)加強(qiáng)版的uniq。這個(gè)方案在內(nèi)存使用方面好了很多，不過代碼量略多，不是很簡潔。
查看完整回答
反對(duì) 回復(fù) 2019-04-13
?
慕慕森

TA貢獻(xiàn)1856條經(jīng)驗(yàn) 獲得超17個(gè)贊

$sort-ra.txt|awk'{print$2,$1}'|uniq-f1|awk'{print$2,$1}'
fdf284
dfg576
csb513
asd346
adf263
逆排,反轉(zhuǎn)第一列和第二列,按第二列去重,反轉(zhuǎn)第一列和第二列
查看完整回答
反對(duì) 回復(fù) 2019-04-13
  • 2 回答
  • 0 關(guān)注
  • 558 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

 幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

 公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)