Alluxio分布式存儲系統(tǒng) v1.4.0

2022-07-09發(fā)布者:lisi大?。?/span> 下載:0

文件大小:

軟件介紹

是一款非常便捷好用的數據庫框架,它結合了傳統(tǒng)數據庫分類齊全的優(yōu)點,又吸收了大數據存儲的優(yōu)勢,給用戶非常良好的使用體驗。讓用戶在更少的選擇中進行更多的數據信息操作!

image.png

應用簡介:
Alluxio發(fā)布了,Alluxio是一個高容錯的分布式文件系統(tǒng),允許文件以內存的速度在集群框架中進行可靠的共享,類似Spark和 MapReduce。通過利用lineage信息,積極地使用內存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在內存中處理緩 存文件,并且讓不同的 Jobs/Queries以及框架都能內存的速度來訪問緩存文件。
應用產品特性:
Alluxio居于傳統(tǒng)大數據存儲和大數據計算框架(如Spark,Hadoop Mapreduce)之間;
在大數據領域,最底層的是分布式文件系統(tǒng),如Amazon S3、Apache HDFS等,而較高層的應用則是一些分布式計算框架,如Spark、MapReduce、Hbase、Flink等。
關于Alluxio:
與其他諸如HDFS、HBase、Spark等大數據相關框架一致,Alluxio也是一個主從結構的系統(tǒng)。它的主節(jié)點為Master,負責管理全局的文件系統(tǒng)元數據,比如文件系統(tǒng)樹等,而從節(jié)點為Worker,負責管理本節(jié)點數據存儲服務。另外,Alluxio還有一個組件為Client,為用戶提供統(tǒng)一的文件存取服務接口。當應用程序需要訪問Alluxio時,通過客戶端先與主節(jié)點Master通訊,或許對應文件的元數據,然后再和對應Worker節(jié)點通訊,進行實際的文件存取操作。所有的Worker會周期性地發(fā)送心跳給Master,維護文件系統(tǒng)元數據信息和確保自己被Master感知扔在集群中正常提供服務,而Master不會主動發(fā)起與其他組件的通信,它只是以回復請求的方式與其他組件進行通信。這與HDFS、HBase等分布式系統(tǒng)設計模式是一致的。
相關視頻:

發(fā)表評論(共0條評論)
請自覺遵守互聯(lián)網相關政策法規(guī),評論內容只代表網友觀點,發(fā)表審核后顯示!

版權聲明:

1 本站所有資源(含游戲)均是軟件作者、開發(fā)商投稿,任何涉及商業(yè)盈利目的均不得使用,否則產生的一切后果將由您自己承擔!

2 本站將不對任何資源負法律責任,所有資源請在下載后24小時內刪除。

3 若有關在線投稿、無法下載等問題,請與本站客服人員聯(lián)系。

4 如侵犯了您的版權、商標等,請立刻聯(lián)系我們并具體說明情況后,本站將盡快處理刪除,聯(lián)系QQ:2499894784

返回頂部