什么是分布式存儲？Filecoin 的深入研究

2020年分布式存儲以其獨特的姿態(tài)涌入我們的視野之中，可是我們好像從來(lái)沒(méi)有思考過(guò)，究竟什么是分布式存儲？而我們?yōu)槭裁葱枰植际酱鎯Γ?/p>

實(shí)際上采用分布式存儲可以說(shuō)是“被迫”的，因為面對越發(fā)飛速發(fā)展的互聯(lián)網(wǎng)、整個(gè)生態(tài)應用不斷創(chuàng )新、用戶(hù)數量不斷龐大、數據階梯式增長(cháng)這些無(wú)疑不給現有的本地存儲帶來(lái)巨大的壓力。因此，必須通過(guò)采用其他分布式存儲系統去緩解相應的壓力，所以分布式存儲和分布式文件系統應運而生。

今天我們這篇文章將對于分布式存儲進(jìn)行介紹，并對Filecoin進(jìn)行深入研究。

分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網(wǎng)絡(luò )存儲系統采用集中的存儲服務(wù)器存放所有數據，存儲服務(wù)器成為系統性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿(mǎn)足大規模存儲應用的需要。分布式網(wǎng)絡(luò )存儲系統采用可擴展的系統結構，利用多臺存儲服務(wù)器分擔存儲負荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

現代計算處于高度集中的階段，在過(guò)去的十年時(shí)間中，一些大型存儲公司通過(guò)將傳統計算機系統劃分云存儲產(chǎn)品獲得了巨大的財富。這側面反映了現代化網(wǎng)絡(luò )中心化集中的現象——如果其中一個(gè)供應商發(fā)生問(wèn)題時(shí)，便會(huì )衍生成重大的互聯(lián)網(wǎng)事件。比如：2017年Amazon網(wǎng)絡(luò )突然中斷；2020年6月Github長(cháng)時(shí)間中斷；2020年10月Microsoft多周云服務(wù)出現問(wèn)題等等。

而我們托管在這些服務(wù)上的內容也值得我們擔心，它們被隱藏在經(jīng)常斷開(kāi)的脆弱鏈接之后面，這對我們構建的計算機系統以及越來(lái)越依賴(lài)它們的社會(huì )具有深遠的影響。集中式架構之所以成功，部分原因在于它們易于構建。為了阻止合并，開(kāi)發(fā)人員需要組成的基礎構建區塊。分布式存儲就是這樣的基石，是分布式Web的前提。

1.彈性

現代互聯(lián)網(wǎng)非常脆弱。如今，Web內容隱藏在URL后面，每個(gè)URL在任何給定時(shí)刻都屬于一臺確定的服務(wù)器，一旦供應商出于原因中斷網(wǎng)絡(luò )連接，其指向的內容將不可訪(fǎng)問(wèn)。集中化會(huì )增加這種影響，造成單一節點(diǎn)故障并為審查提供方便。結果，在當今的互聯(lián)網(wǎng)中，普遍存在著(zhù)互聯(lián)網(wǎng)鏈接失效的現象，就好像當一個(gè)鏈接斷開(kāi)或永久不可用，國家級審查和分布式拒絕服務(wù)攻擊破壞可以訪(fǎng)問(wèn)任何文件。

在理想的分散系統中，運營(yíng)商的損失不應阻止用戶(hù)對先前存儲和服務(wù)的內容的訪(fǎng)問(wèn)。通過(guò)將責任分散到網(wǎng)絡(luò )的許多節點(diǎn)上，分散式系統還可以自然地抵抗審查制度和其他拒絕服務(wù)的嘗試，因為沒(méi)有集中的目標可以使攻擊者大量獲取資源。

集中存儲系統易于受到審查的影響，一個(gè)典型的案例是當西班牙的17個(gè)自治社區之一的加泰羅尼亞，舉行獨立公投時(shí)，反對獨立計劃的西班牙政府封鎖了擁有ISP級別投票信息的網(wǎng)站，通過(guò)切斷這些關(guān)鍵的鏈接，政府有效地阻止了許多個(gè)人訪(fǎng)問(wèn)這些信息。

然而，許多網(wǎng)站也使用對等存儲網(wǎng)絡(luò )星際文件系統（IPFS）進(jìn)行了鏡像。任何運行IPFS節點(diǎn)的人都可以從網(wǎng)絡(luò )上的其他節點(diǎn)下載經(jīng)過(guò)審查的信息，并開(kāi)始自己分享。IPFS的分散化本質(zhì)與西班牙政府阻止訪(fǎng)問(wèn)這些文件的企圖背道而馳——只要一個(gè)節點(diǎn)被封鎖，另一個(gè)節點(diǎn)就可以輕易地取代它。通常，分布式存儲系統使網(wǎng)絡(luò )級阻塞變得更加困難。

2.效率

所有計算系統體系結構都有其優(yōu)點(diǎn)和缺點(diǎn)，并且沒(méi)有單一的解決方案適合所有可能的用例。不幸的是，現代網(wǎng)絡(luò )對集中化的重視沒(méi)有什么不同。如今，全球少數城市中的一些集中式數據中心存儲的內容最多。例如，如果同一網(wǎng)絡(luò )上的兩個(gè)用戶(hù)希望彼此發(fā)送消息，這些消息通常將發(fā)送到其中一個(gè)數據中心；如果100個(gè)用戶(hù)在一個(gè)房間里用他們的設備觀(guān)看同一段視頻，他們每個(gè)人都會(huì )訪(fǎng)問(wèn)一個(gè)中央服務(wù)器并下載100份副本，而不是下載一份副本并在本地網(wǎng)絡(luò )上共享它。

最簡(jiǎn)單的說(shuō)法是：分布式存儲使得共享文件變得更容易，而不需要在互聯(lián)網(wǎng)上向特定的幾個(gè)數據中心發(fā)送請求。取而代之的是，節點(diǎn)之間通過(guò)盡可能少的中間人建立連接。例如，連接到其他國家的節點(diǎn)仍然需要幾次跳轉，但是同一網(wǎng)絡(luò )上的節點(diǎn)可以直接共享文件。分布式存儲的最終目標是建立眾多的節點(diǎn)，從而使每個(gè)人都可以通過(guò)本地對等的節點(diǎn)來(lái)獲取信息。

分布式存儲解決方案可以將基本的新效率引入此類(lèi)活動(dòng)。通過(guò)繞過(guò)數據中心，分布式系統可以使節點(diǎn)放置在比現代內容分發(fā)網(wǎng)絡(luò )更接近終端用戶(hù)的地方，甚至比現代內容交付網(wǎng)絡(luò )都更靠近最終用戶(hù)，從而大大加快了文件檢索速度。通過(guò)本地網(wǎng)絡(luò )進(jìn)行點(diǎn)對點(diǎn)文件共享還可以節省帶寬，特別是在對更廣泛的互聯(lián)網(wǎng)訪(fǎng)問(wèn)有限的地區。

盡管彈性和效率是分布式存儲的標志，但理想的存儲系統可能還具有許多其他特征：

1.可訪(fǎng)問(wèn)

理想的分布式系統應該是可訪(fǎng)問(wèn)的。參與網(wǎng)絡(luò )應該很容易，允許盡可能多的節點(diǎn)代表網(wǎng)絡(luò )存儲和分發(fā)文件。

如果您正在閱讀本文并想知道：我可以是一個(gè)節點(diǎn)嗎?答案是:視情況而定。借助Filecoin，任何相對精通技術(shù)的人都應該能夠運行客戶(hù)端節點(diǎn)以與網(wǎng)絡(luò )進(jìn)行交互。至于運行存儲礦工節點(diǎn)，并不是所有人都能做的，因為您需要具有滿(mǎn)足特定規格的硬件。

對于IPFS，節點(diǎn)的硬件要求較低，這意味著(zhù)有可能有更多的用戶(hù)通過(guò)運行節點(diǎn)，或許通過(guò)運行內置的Web瀏覽器，對網(wǎng)絡(luò )做出貢獻。云服務(wù)提供商使廉價(jià)，可靠的存儲比以往任何時(shí)候都更容易使用。它們成功的一個(gè)主要方面是能夠通過(guò)API通過(guò)代碼配置和管理存儲的能力。任何競爭性系統都應該能夠提供相同級別的便利。

2.內容尋址

如前所述，URL體現了一些內在的設計折衷。它們描述的是數據的位置，而不是數據的內容。為了解釋集中式系統是如何使查找數據變得困難的——假設您想下載一只毛茸茸的小貓的照片?？紤]以下兩個(gè)URL:

http://wap.friendlycc.com.cn/host/

http://wap.friendlycc.com.cn/host/

這些URL都引用了一個(gè)名為cat.jpeg的文件，但不能保證這兩個(gè)文件相同。如果example1.com離線(xiàn)，則無(wú)法確定example2.com是否滿(mǎn)足您的需求-cat.jpeg可能完全不同。事實(shí)上，它甚至可能是一張狗的照片!URL和它引用的內容之間沒(méi)有固有的關(guān)系。

因此，你沒(méi)有辦法問(wèn)今天的互聯(lián)網(wǎng)，“有人有這個(gè)文件嗎?”因為除了它的位置之外，你對文件一無(wú)所知。

當您使用URL共享文件時(shí)，可能會(huì )出現問(wèn)題。服務(wù)器可能會(huì )從該URL開(kāi)始提供不同的文件，或者有人會(huì )執行中間人攻擊并修改文件(奇怪的是，這種攻擊并不少見(jiàn))。很難確認訪(fǎng)問(wèn)URL的每個(gè)人都收到了他們想要的文件。

相比之下，內容尋址基于內容標識符(CIDs)查找文件，CIDs作為文件的數字指紋。用這種方式尋址文件解決了位置尋址的問(wèn)題。當客戶(hù)端需要一個(gè)文件時(shí)，他們向網(wǎng)絡(luò )中的節點(diǎn)詢(xún)問(wèn)具有特定CID的文件，而不是向一個(gè)服務(wù)器詢(xún)問(wèn)URL?？蛻?hù)端下載文件后，便會(huì )自己對其進(jìn)行指紋識別。

回顧我們前面的例子，就好像所有網(wǎng)站都對輸入cat.jpeg時(shí)要交付的文件有共同的理解。因此，雖然不能保證任何節點(diǎn)都具有特定的cat.jpeg，但這些節點(diǎn)將檢查該文件的指紋以嘗試找到匹配項。

盡管像指紋識別這樣的步驟需要比普通人要多的技術(shù)知識，但Filecoin和IPFS客戶(hù)可以輕松地使此過(guò)程自動(dòng)化。這樣一來(lái)，客戶(hù)就可以保證他們已收到所需的文件-在此系統中，查找數據的備用提供者很簡(jiǎn)單。

主要要點(diǎn):CIDs意味著(zhù)您可以找到集中式系統中可能丟失的內容，CIDs還可以防止中間人攻擊或服務(wù)器在特定URL處突然更改文件。

3.獨立性

無(wú)信任系統允許雙方進(jìn)行合作，而不需要了解對方或尋求第三方。她認為，系統的激勵促使參與者朝著(zhù)網(wǎng)絡(luò )運行所必需的行為前進(jìn)。

4.可驗證

理想的存儲系統應該能夠輕松地持續證明節點(diǎn)正在存儲它們所承諾的精確數據。這種類(lèi)型的可審核性是實(shí)現不信任的關(guān)鍵。如果您總是能夠確定數據被正確地存儲，那么您就不太需要信任提供存儲的一方。

5.開(kāi)放性

最后，理想的分布式存儲系統是開(kāi)放的:它的代碼是開(kāi)放源代碼的，并且是可審計的。此外，存儲系統不應該是單塊的。相反，它應該公開(kāi)一個(gè)任何人都可以實(shí)現和構建的開(kāi)放協(xié)議，而不是鼓勵鎖定。

Filecoin項目是一個(gè)分布式存儲系統，旨在滿(mǎn)足這些特性。在2014年的描述中，Filecoin協(xié)議最初是作為一個(gè)激勵層開(kāi)發(fā)的星際文件系統(IPFS)，一個(gè)對等存儲網(wǎng)絡(luò )。與IPFS一樣，Filecoin是一種開(kāi)放協(xié)議，它基于其較早版本的屬性，利用相同的底層對等和內容尋址功能。

Filecoin節點(diǎn)網(wǎng)絡(luò )為文件的檢索和存儲提供了一個(gè)分散的存儲市場(chǎng)。這個(gè)網(wǎng)絡(luò )是由一個(gè)新的區塊鏈支持的，它記錄了網(wǎng)絡(luò )參與者所做的承諾。用戶(hù)使用區塊鏈的加密貨幣FIL在網(wǎng)絡(luò )上進(jìn)行交易。

1.檢索市場(chǎng)

在檢索市場(chǎng)上，被稱(chēng)為檢索礦工的節點(diǎn)競爭將文件盡快提供給客戶(hù)端。檢索礦工通過(guò)少量的FIL費用獲得獎勵。這使得位于關(guān)鍵位置的節點(diǎn)有了加入網(wǎng)絡(luò )的動(dòng)機，并促進(jìn)了文件的快速分發(fā)。它還鼓勵建立一個(gè)穩健的網(wǎng)絡(luò )來(lái)復制和保存急需的文件。

2.存儲市場(chǎng)

在Filecoin的存儲市場(chǎng)中，被稱(chēng)為存儲礦工的節點(diǎn)被授權在各種特性上競爭，比如價(jià)格和位置，為客戶(hù)提供指定時(shí)間內的文件托管合同。存儲礦工在接受合同前，必須先進(jìn)行抵押FIL;如果存儲礦工未能履行其對客戶(hù)的義務(wù)，則此功能可用于自動(dòng)向客戶(hù)償還費用。

當存儲礦工和他們的客戶(hù)達成協(xié)議時(shí)，客戶(hù)將他們的數據傳輸給存儲礦工。存儲礦工將其數據添加到一個(gè)扇區，扇區是Filecoin中存儲的基本單位。然后礦工執行計算密集型操作（稱(chēng)為封裝），以創(chuàng )建該扇區數據的唯一副本。

如果客戶(hù)希望存儲其數據的多個(gè)唯一副本，那么封裝過(guò)程將確保每個(gè)副本都具有惟一的指紋，而獲取該指紋所需的計算量將防止節點(diǎn)從基礎數據重新生成指紋，從而避免作弊。數據最終用于向Filecoin區塊鏈發(fā)布復制證明。

在存儲交易期間，需要定期要求存儲礦工向區塊鏈提交時(shí)空證明。礦工使用隨機性（由區塊鏈本身提供），密封扇區和發(fā)布到區塊鏈的復制證明來(lái)獲得這些證明。這些證據為客戶(hù)端提供了一個(gè)強有力的概率論證，即存儲礦工擁有完整，唯一的數據副本。這是一個(gè)非常有力的保證-甚至是現代云存儲提供商也無(wú)法提供其客戶(hù)。

客戶(hù)通過(guò)支付FIL作為交易費來(lái)獎勵Filecoin存儲礦工。還為存儲礦工提供了為區塊鏈挖掘區塊的機會(huì )，這既需要FIL獎勵，也可以向希望在開(kāi)采塊中包含消息的其他人收取交易費用。Filecoin的證明系統意味著(zhù)礦工需要一些額外的硬件，但對于技術(shù)熟練的個(gè)人來(lái)說(shuō)，要求仍然很低。作為客戶(hù)端參與網(wǎng)絡(luò )的硬件要求是適當的，Filecoin節點(diǎn)還公開(kāi)了一個(gè)用于與網(wǎng)絡(luò )進(jìn)行編程交互的API，允許第三方服務(wù)在核心網(wǎng)絡(luò )功能之上構建。

分布式存儲提供了一種與傳統的集中式存儲相對應的強有力的選擇。它為開(kāi)發(fā)人員提供了探索設計計算空間的機會(huì )，從而強調了內容存儲和交付的穩定性和效率。Filecoin表明，通過(guò)分布式存儲可以不僅可以讓數據更加安全；也可以讓W(xué)eb3.0網(wǎng)絡(luò )為更多人使用。

來(lái)源：IPFS.CN（IPFS搬運工）