首頁(yè) 猿問(wèn) 每天微博接收的上百萬(wàn)條數(shù)據(jù),每條評(píng)...

每天微博接收的上百萬(wàn)條數(shù)據(jù),每條評(píng)論都在幾十到一百多之間,問(wèn)如何能最快的查找出里面的敏感詞匯?

PHP

動(dòng)漫人物 2019-03-11 14:36:25

當(dāng)時(shí)筆試問(wèn)到的一個(gè)問(wèn)題,如題.當(dāng)時(shí)腦子想的是用正則匹配,但是估計(jì)會(huì)炸了....回來(lái)查了好多資料,貌似是用AC算法這種東西,對(duì)算法真的不了解,大神們覺(jué)得怎么處理比較好呢?

查看完整描述

2 回答

慕村9548890

TA貢獻(xiàn)1884條經(jīng)驗(yàn) 獲得超4個(gè)贊

這些應(yīng)用都是多臺(tái)部署的，后臺(tái)多臺(tái)機(jī)器會(huì)提供敏感詞驗(yàn)證服務(wù)接口，任務(wù)平攤給多個(gè)機(jī)器，速度自然很快了。

在自己公司內(nèi)部技術(shù)wiki上搜索了一下，我司使用的敏感詞算法是：Aho Corasick自動(dòng)機(jī)結(jié)合DoubleArrayTrie極速多模式匹配，我司主要用的是java實(shí)現(xiàn)的，應(yīng)該也有php版本的實(shí)現(xiàn)，你自己去找找吧。

反對(duì) 回復(fù) 2019-03-18

小怪獸愛(ài)吃肉

TA貢獻(xiàn)1852條經(jīng)驗(yàn) 獲得超1個(gè)贊

一般用DFA算法。正則可以做到。不過(guò)效率太低了

反對(duì) 回復(fù) 2019-03-18

蠱毒傳說(shuō)

TA貢獻(xiàn)1895條經(jīng)驗(yàn) 獲得超3個(gè)贊

用PHP做過(guò)類(lèi)似的應(yīng)用demo，也是用的ac，其實(shí)算法這東西，如果你不是研究算法，只是單純的用的話其實(shí)不難的。

這是匹配算法。
然后還有一點(diǎn)的就是語(yǔ)言，這種要求運(yùn)行速度的最好別選PHP，腳本語(yǔ)言總是沒(méi)有靜態(tài)語(yǔ)言跑的快。然后是敏感詞的存儲(chǔ)，從內(nèi)存中拿和從磁盤(pán)上拿這兩個(gè)區(qū)別還是蠻大的。
然后是一臺(tái)服務(wù)器上多線程處理，多臺(tái)服務(wù)器的分布式處理；暫時(shí)想到的就這些了

反對(duì) 回復(fù) 2019-03-18