首頁(yè) 猿問(wèn) 分布式系統(tǒng)下的文件訪問(wèn)

分布式系統(tǒng)下的文件訪問(wèn)

Java

繁星點(diǎn)點(diǎn)滴滴 2019-03-20 14:19:42

java應(yīng)用，上線時(shí)要布多個(gè)節(jié)點(diǎn)，但是需要訪問(wèn)一些數(shù)據(jù)，這些數(shù)據(jù)量一般都是幾個(gè)G,一兩個(gè)月更新到次，不適合放到數(shù)據(jù)庫(kù)，目前的方式是window共享，但是經(jīng)常碰到權(quán)限問(wèn)題，而且也想讓這種訪問(wèn)盡量平臺(tái)無(wú)關(guān)，有沒有什么輕量點(diǎn)的辦法？

查看完整描述

3 回答

浮云間

TA貢獻(xiàn)1829條經(jīng)驗(yàn) 獲得超4個(gè)贊

可以考慮分布式存儲(chǔ)掛載應(yīng)用主機(jī)目錄讀取。

反對(duì) 回復(fù) 2019-04-16

繁花如伊

TA貢獻(xiàn)2012條經(jīng)驗(yàn) 獲得超12個(gè)贊

我分享下我的做法

數(shù)據(jù)文件、數(shù)據(jù)文件的版本號(hào)、數(shù)據(jù)文件的MD5值這三個(gè)文件放在FTP上，應(yīng)用啟動(dòng)的時(shí)候根據(jù)版本決定是否要拉最新的文件到本地，根據(jù)MD5值判斷文件是否已經(jīng)損壞。

1、版本落后或MD5損壞的文件必須重新拉去，至于你是不分加還是全部載到內(nèi)存中，取決于你的應(yīng)用場(chǎng)景。
2、配置監(jiān)控項(xiàng)，掃描所有應(yīng)用上文件的版本號(hào)和MD5值，確保所有系統(tǒng)上都拿到正確的文件版本
3、應(yīng)用啟動(dòng)要做限制，通用的做法是利用Spring初始化Bean的時(shí)候是單線程方式，或者你可以做一個(gè)異步加載，但要記得做好內(nèi)存鎖。
4、應(yīng)用設(shè)定一個(gè)掃描間隔，定期掃描FTP上文件版本和MD5是否需要更新

當(dāng)然咯，我已經(jīng)形成一個(gè)小框架了，專門用這個(gè)框架來(lái)同步偏靜態(tài)的大數(shù)據(jù)。略重，但性能杠杠的。

反對(duì) 回復(fù) 2019-04-16