我知道存在https://wiki.apache.org/hadoop/AmazonS3和以下字詞：S3本機(jī)文件系統(tǒng)（URI方案：s3n）用于在S3上讀寫常規(guī)文件的本機(jī)文件系統(tǒng)。該文件系統(tǒng)的優(yōu)點(diǎn)是您可以訪問S3上用其他工具編寫的文件。相反，其他工具可以訪問使用Hadoop編寫的文件。缺點(diǎn)是S3施加的文件大小限制為5GB。S3A（URI方案：s3a）S3a：系統(tǒng)是S3本機(jī)s3n fs的后繼產(chǎn)品，它使用Amazon的庫(kù)與S3進(jìn)行交互。這使S3a支持更大的文件（沒有更多的5GB限制），更高性能的操作等等。該文件系統(tǒng)旨在替代S3本機(jī)/替代S3本機(jī)：從s3n：// URL訪問的所有對(duì)象也應(yīng)該僅通過替換URL架構(gòu)就可以從s3a訪問。S3塊文件系統(tǒng)（URI方案：s3）由S3支持的基于塊的文件系統(tǒng)。文件存儲(chǔ)為塊，就像它們?cè)贖DFS中一樣。這樣可以有效地執(zhí)行重命名。此文件系統(tǒng)要求您為文件系統(tǒng)專用存儲(chǔ)桶-您不應(yīng)使用包含文件的現(xiàn)有存儲(chǔ)桶，也不應(yīng)將其他文件寫入同一存儲(chǔ)桶。該文件系統(tǒng)存儲(chǔ)的文件可以大于5GB，但不能與其他S3工具互操作。為什么URI上的字母更改會(huì)產(chǎn)生這種變化？例如val data = sc.textFile("s3n://bucket-name/key")至val data = sc.textFile("s3a://bucket-name/key")此更改的技術(shù)差異是什么？有什么好的文章可以閱讀嗎？
2 回答
侃侃無(wú)極
TA貢獻(xiàn)2051條經(jīng)驗(yàn) 獲得超10個(gè)贊
URI方案上的字母更改有很大的不同，因?yàn)樗鼘?dǎo)致使用不同的軟件來(lái)連接到S3。有點(diǎn)像http和https之間的區(qū)別-只是一個(gè)字母的更改，但它會(huì)觸發(fā)行為上的很大區(qū)別。
s3和s3n / s3a之間的區(qū)別在于s3是Amazon S3之上的基于塊的覆蓋，而s3n / s3a不是（它們是基于對(duì)象的）。
s3n和s3a之間的區(qū)別在于s3n支持最大5GB的對(duì)象，而s3a支持最大5TB的對(duì)象并具有更高的性能（這都是因?yàn)樗褂梅侄紊蟼鳎?。s3a是s3n的后繼者。
如果您在這里是因?yàn)橄胍私鈶?yīng)該與Amazon EMR一起使用哪個(gè)S3文件系統(tǒng)，請(qǐng)從Amazon 閱讀本文（僅在Wayback機(jī)器上可用）。網(wǎng)絡(luò)是：使用s3：//，因?yàn)閟3：//和s3n：//在EMR的上下文中在功能上是可互換的，而s3a：//與EMR不兼容。
添加回答
舉報(bào)
0/150
提交
取消