首頁猿問數(shù)據(jù)庫與平面文件

數(shù)據(jù)庫與平面文件

源碼算法與數(shù)據(jù)結(jié)構(gòu) SQL Server

楊__羊羊 2019-08-26 19:09:09

數(shù)據(jù)庫與平面文件我工作的公司正在嘗試將使用平面文件格式的產(chǎn)品切換為數(shù)據(jù)庫格式。我們正在處理相當(dāng)大的數(shù)據(jù)文件（即：25GB /文件），并且它們可以非常快速地更新。我們需要運行隨機訪問數(shù)據(jù)的查詢，以及連續(xù)的方式。我試圖說服他們使用數(shù)據(jù)庫的優(yōu)勢，但我的一些同事似乎不愿意這樣做。所以我想知道你們是否可以通過一些理由或鏈接到我們應(yīng)該使用數(shù)據(jù)庫的帖子來幫助我，或者至少澄清為什么平面文件更好（如果是的話）。

查看完整描述

3 回答

縹緲止盈

TA貢獻(xiàn)2041條經(jīng)驗獲得超4個贊

這是我前段時間已經(jīng)給出的答案：

它完全取決于特定于域的應(yīng)用程序需求。很多時候，直接文本文件/二進(jìn)制文件訪問可以非常快速，高效，并且為您提供操作系統(tǒng)文件系統(tǒng)的所有文件訪問功能。
此外，您的編程語言很可能已經(jīng)有一個內(nèi)置模塊（或很容易制作）用于特定的解析。
如果您需要的是許多附加（INSERTS？）和順序/少數(shù)訪問很少/沒有并發(fā)，文件是要走的路。
另一方面，當(dāng)您對并發(fā)，非順序讀/寫，原子性，原子權(quán)限，數(shù)據(jù)的性質(zhì)等要求時，您最好使用關(guān)系數(shù)據(jù)庫或OO數(shù)據(jù)庫。
使用SQLite3可以實現(xiàn)很多功能，它非常輕便（300kb以下），符合ACID標(biāo)準(zhǔn)，用C / C ++編寫，并且非常普遍（如果它還沒有包含在您的編程語言中 - 例如Python-，肯定有一個可用）。即使對于140 TB或128 tebibytes（鏈接到數(shù)據(jù)庫大小）的db文件，它也可能更有用。
如果你的要求更大，甚至沒有討論，那就去找一個完整的RDBMS。

正如你在評論中所說的那樣，“系統(tǒng)”只是一堆腳本，那么你應(yīng)該看看pgbash。

反對回復(fù) 2019-08-26

慕萊塢森

TA貢獻(xiàn)1810條經(jīng)驗獲得超4個贊

如果你能買它，不要建造它。

我最近聽到了這句話，它似乎很適合作為指導(dǎo)。問自己這個...花了多少時間處理你的應(yīng)用程序的文件處理部分？我懷疑在優(yōu)化此代碼以獲得性能方面花費了相當(dāng)多的時間。如果您一直使用關(guān)系數(shù)據(jù)庫，那么處理這部分應(yīng)用程序的時間會少得多。您可以有更多時間來應(yīng)用您應(yīng)用的真正“業(yè)務(wù)”方面。

反對回復(fù) 2019-08-26