Ethereum Swarm分散データウェアハウス

イーサリアムブロックチェーンは、スマートコントラクトと、分散型DAppアプリケーション（分散型アプリケーション）を作成する機能に関して興味深いものです。 ただし、このようなアプリケーションには、分散データウェアハウスが必要です。



ブロックチェーンに大量のデータを保存すると、多大な費用がかかる可能性があります。 Ethereum Swarmなどの分散ストレージが助けになります（「swarm」は「swarm」、「heap」を意味します）。 つまり、Ethereum Swarmは、Ethereumピアツーピアネットワーク上で実行されるソフトウェアです。 ノードのディスク上にデータの分散ストレージを提供し、その所有者はリソースを一般的に使用します。



この記事では、テクノロジーをテストし、Ethereum Swarmにデータを保存する分散アプリケーションを開発するために、EthereumプライベートネットワークのローカルEthereum Swarmホストをセットアップする方法について説明します。

DAppに分散型データウェアハウスが必要な理由

Ethereumブロックチェーン（他のブロックチェーンと同様）は、悪意のあるユーザーによる偽造や攻撃から非常によく保護された分散ジャーナルです。



この保護は、一方ではハッシュアルゴリズムと暗号化アルゴリズム、新しいブロックをブロックチェーンに追加するためのアルゴリズム、そして他方ではデータストレージとトランザクション処理を提供する多数のイーサリアムノードを使用して達成されます。 これらのサイトは世界中にあります。 ブロックチェーンを「破壊」するのに十分なリソースは誰も持っておらず、これはそこに記録された情報に自信を与えます。

「SkyNetはどこでも、どこでも単一のセンターではありません。 オフにするものは何もありません。」（ターミネーター3：マシンの台頭）

しかし、前述したように、ブロックチェーンはドキュメント、画像、製品の説明、注文などの大量のデータを保存するのには適していません。 もちろん、理論的には、ブロックチェーンに書き込むことができますが、記録のコストが高すぎます。



大容量のDAppデータをどこに保存しますか？



たとえば、ブロックチェーンを使用して画像の著作権を修正したり、オンラインストアでの注文の詳細を永久に保存したり、紙のドキュメントのスキャンを保存したりします。 ここでは、他のデータウェアハウスが必要です。



もちろん、DAppデータを保存するには、サーバー、クラウドストレージ内の場所をレンタルするか、他の従来のストレージを使用できます。 ただし、サーバー、クラウド、およびストレージは、企業または個人によって制御されます。 何らかの理由でブロックされたり、侵入者に攻撃されたりする場合があります。



集中型ストレージを使用する場合、DAppの主な利点は失われます-攻撃や悪意のあるアクションに対する抵抗力。 さらに、アプリケーションは分散化されなくなります。 つまり、DAppへの信頼も失われます。 結局、集中型ストレージの操作をブロックまたは中断すると、ブロックチェーンを使用してDAppによって記録された一部の情報へのアクセスが失われ、DAppを使用するすべてのポイントが失われます。

Ethereum Swarmの仕組み

数万のEthereum Swarmネットワークノードが世界中に散在しており、ユーザーがダウンロードしたデータを保存するためのリソースを提供しているとします。 データを投稿するコストは従来のクラウドストレージよりも低くなりますが、サイト所有者はリソースを提供したことに対する報酬を受け取ると想定されています。



ユーザーがファイルをEthereum Swarmネットワークにアップロードすると、このファイルは最初にいずれかのノードに移動します。 次に、同期中にファイルが他のネットワークノードに複製されます。 Ethereumネットワーク上で実行されるbzzプロトコルを使用します。



少なくとも1つのEthereum Swarmホストが実行されている限り、ダウンロードされたファイルは引き続き使用可能です。 これにより、データストレージの信頼性が確保されます。 膨大な数のEthereum Swarmノードを無効化またはブロックすることはほとんど不可能です。



これについては、 Ethereum Swarm Webサイトで詳しく読むことができます。



文書は、これまでのところ、Ethereum Swarmは概念実証（POC、概念実証）としてバージョン0.2で実装されていると述べました。 このバージョンでは、ダウンロードしたデータの安全性は保証されません。 2018年の第2四半期には安定したリリースが予定されているため、それほど長くはかかりません。 同時に、Ethereum Swarmネットワークにリソースを提供するための報酬システムを作成する予定です。



ただし、何も待つことはありませんが、今すぐEthereum Swarmのテストを開始します。 プライベートEthereumネットワークに独自のEthereum Swarmノードを作成します。

DebianおよびUbuntuへのEthereum SwarmおよびGethのインストール

DebianおよびUbuntuサーバーへのEthereum Swarmのインストールについて説明します。 一般に、この指示に従う必要がありますが、いくつかのニュアンスがあります。

インストールに行く

作業を開始する前に、1.9.2以上の新しいバージョンのGoをインストールすることが非常に重要です。 DebianおよびUbuntuリポジトリにはGoの古いバージョンが存在する可能性があるため、ソースからインストールしてください。



非特権ユーザーとしてソースコードをダウンロードして解凍します。

$ curl -O https://storage.googleapis.com/golang/go1.9.2.linux-amd64.tar.gz $ sudo tar -C /usr/local -xzf go1.9.2.linux-amd64.tar.gz
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ユーザーディレクトリgoを作成し、環境変数を設定します。

 $ mkdir -p ~/go; echo "export GOPATH=$HOME/go" >> ~/.bashrc $ echo "export PATH=$PATH:$HOME/go/bin:/usr/local/go/bin" >> ~/.bashrc $ source ~/.bashrc
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

環境変数が設定されていることを確認します。

 $ printenv | grep go PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/games:/usr/games:/home/frolov/go/bin:/usr/local/go/bin GOPATH=/home/frolov/go
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Debianオペレーティングシステムでは、.bashrcファイルの代わりに.profileファイルを使用します。 単純にコピーできます：

 cp .bashrc .profile
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

goバージョンを確認します。

 $ go version go version go1.9.2 linux/amd64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

goバージョンは少なくとも1.9.2でなければなりません。



以前にgoの古いバージョンをOSリポジトリからインストールした場合は、次のように削除します。

 $ sudo apt-get remove golang-go $ sudo apt-get remove --auto-remove golang-go
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

GethおよびEthereum Swarmをインストールします

リポジトリからソースコードをダウンロードします。

 $ mkdir -p $GOPATH/src/github.com/ethereum $ cd $GOPATH/src/github.com/ethereum $ git clone https://github.com/ethereum/go-ethereum $ cd go-ethereum $ git checkout master $ go get github.com/ethereum/go-ethereum
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

gethクライアントとswarmデーモンのコンパイルを開始します。

 $ go install -v ./cmd/geth $ go install -v ./cmd/swarm
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

インストールされているgethおよびswarmのバージョンを確認します。

 $ geth version Geth Version: 1.8.0-unstable Architecture: amd64 Protocol Versions: [63 62] Network Id: 1 Go Version: go1.9.2 Operating System: linux GOPATH=/home/frolov/go GOROOT=/usr/local/go $ swarm version Swarm Version: 1.8.0-unstable Network Id: 0 Go Version: go1.9.2 OS: linux GOPATH=/home/frolov/go GOROOT=/usr/local/go
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Ethereum Swarmを起動するためのプライベートブロックチェーンの準備

まず、ユーザーのホームディレクトリにgeneis.jsonファイルを作成します。

 { "config": { "chainId": 1907, "homesteadBlock": 0, "eip155Block": 0, "eip158Block": 0 }, "difficulty": "40", "gasLimit": "5100000", "alloc": {} }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、ホームディレクトリにサブディレクトリnode1を作成します。

 $ mkdir node1
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ノードは、init_node.shバッチファイルを使用して初期化できます。

 geth --datadir node1 account new geth --datadir node1 init genesis.json
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このファイルを実行すると、アカウントが作成され、パスワードが要求されます。パスワードは安全な場所に保存する必要があります。



ノードを開始するstart_node.shファイルを作成します。

 geth --datadir node1 --nodiscover --mine --minerthreads 1 --maxpeers 0 --verbosity 3 --networkid 98765 --rpc --rpcapi="db,eth,net,web3,personal,web3" console
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このファイルを実行し、DAG生成が完了するのを待ちます。



attach_node.shファイルを使用して、gethコンソールを開き、プライベートノードに接続できます。

 geth --datadir node1 --networkid 98765 attach ipc://home/frolov/node1/geth.ipc
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

swarmデーモンの実行

ここでは、サイトの初期化段階で作成されたアカウントのアドレスが必要になります。 保存していない場合は問題ありません。 attach_node.shスクリプトで開かれたgethコンソールに移動し、そこで次のコマンドを発行します。

 > web3.eth.accounts ["0xcd9fcb450c858d1a7678a2bccf36ea5decd2b09b"]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このコマンドは、作成されたアカウントのアドレスを表示します。 初期化直後、アドレスは1つだけになります。



Ethereum Swarmデーモンをシングルノードモード（シングルトン）で起動するには、swarm_start.shコマンドファイルを準備します。

 swarm --bzzaccount cd9fcb450c858d1a7678a2bccf36ea5decd2b09b --datadir "/home/ethertest/data/node1" --maxpeers 0 -nodiscover --verbosity 4 --ens-api /home/ethertest/data/node1/geth.ipc
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サイトに作成されたアカウントのアドレスを「0x」なしで示します。



デーモンを起動するときに、以前に作成したアカウントのパスワードを入力する必要があります。

 $ sh swarm_start.sh Unlocking swarm account 0xCD9Fcb450C858D1A7678a2bCCf36EA5decd2B09B [1/3] Passphrase:
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Ethereum Swarmへのファイルのアップロード

ファイルをアップロードする最も簡単な方法は、upパラメーターを指定したswarmコマンドを使用することです。 さらに、ダウンロードしたファイルへのパスを指定する必要があります。

 $ swarm up start_node.sh f2073b8f0cf0cfe1e165060882da71a37bb6fd97bdec6be71b4f66ebcf0aba9f
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このコマンドは、ダウンロードしたファイルのハッシュを返します。 ハッシュを使用してファイルを読み取ることができます。 これを行うには、wgetまたはcurlコマンドを使用します。

 $ wget http://localhost:8500/bzz:/f2073b8f0cf0cfe1e165060882da71a37bb6fd97bdec6be71b4f66ebcf0aba9f/ $ curl http://localhost:8500/bzz:/f2073b8f0cf0cfe1e165060882da71a37bb6fd97bdec6be71b4f66ebcf0aba9f/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

wgetコマンドを使用すると、ファイルの内容をローカルディスクに保存できます。 -Oオプションを使用して、ファイル名を指定します。 curlコマンドはファイルの内容をコンソールに出力するため、この形式ではバイナリファイルの内容を表示するために使用しないでください。 URLの最後にスラッシュが必要です。そうでない場合、リダイレクトが発生します。



上記のようにファイルがEthereum Swarmにアップロードされると、いわゆるマニフェストが作成されて保存されます。 これは、指定された識別子によってリポジトリで利用可能なコンテンツを説明するヘッダーです。



以下に、単純なswarm upコマンドでNet-Ethereum-0.28.tar.gzファイルをダウンロードしました。

 $ swarm up Net-Ethereum-0.28.tar.gz 8da3713d49c62740f5ab594b06173975ac97cb3dd3848ae996484ec264a10e2f
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここで、bzz-listプロトコルを指定することにより、マニフェストを表示できます。

 $ curl http://localhost:8500/bzz-list:/8da3713d49c62740f5ab594b06173975ac97cb3dd3848ae996484ec264a10e2f/ {"entries":[{"hash":"543ee6e744f93de76ac132b8ab71982e32beaf90d1005e771dde003b2a4a54c3","path":"/","contentType":"application/gzip","mode":420,"size":12403,"mod_time":"2018-01-13T14:57:54+03:00"}]}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

マニフェストはJSON形式で表示されます。



マニフェストでは、ファイル（ファイル名）、サイズ、タイプ（コンテンツタイプ）、変更日時、およびファイルのハッシュに保存できます。



ファイルの内容を識別子で抽出し、t.tar.gzという名前で保存するには、次のようにします。

 $ wget -O t.tar.gz http://localhost:8500/bzz:/8da3713d49c62740f5ab594b06173975ac97cb3dd3848ae996484ec264a10e2f/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サブディレクトリがあるディレクトリをダウンロードする

Ethereum Swarmリポジトリーの内容を含むディレクトリーを再帰的にロードするには、-recursiveパラメーターを指定します。

 $ swarm --recursive up Net-Ethereum/ 4fb1f2270381c022461037151f70ce081082f0ae1a2a23d8c7ea602da69b4115
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

マニフェストには、ロードされたサブディレクトリ内のすべてのファイルに関する情報が表示されます。

Ethereum Swarmのその他の機能

この記事では、Ethereum Swarmのすべての機能については説明しませんでした。



個々のファイルとディレクトリの内容をロードすることに加えて、マニフェストにデータを追加できます。 これにより、拡張されたマニフェストとファイルが追加された新しいデータ項目が作成されます。



マニフェストなしでファイルをダウンロードしたり、いわゆる「生の」形式でそれらを読むことができます。



ファイルを読み取るときに、その名前（全体または一部）を指定できます。 この場合、ENS（Ethereum Name Service）ネームサービスが関係します。 この機能により、ブロックから一部のファイルのみを取得し、共通のマニフェストで結合できます。



また、SWarm Accounting Protocol（SWAP）およびその他の機能についても説明しませんでした。 Ethereum Swarmプロジェクトは活発に開発されており、分散型アプリケーションの開発者にとって興味深い何かを確実にもたらすでしょう。

Perl Net :: Ethereum :: Swarmモジュール

PerlシステムでEthereum Swarm分散データウェアハウスを使用するために、CPANでNet :: Ethereum :: Swarmモジュールを開発して投稿しました。



このモジュールを使用すると、テキストファイルとバイナリファイルをEthereum Swarmにアップロードしたり、ダウンロードしたデータのマニフェストを受信したり、Ethereum Swarmから識別子でファイルをアップロードしたりできます。



Net :: Ethereum :: Swarmモジュールは、HTTP GETおよびPOSTリクエストを使用してEthereum Swarmホストと連携します。 リクエストの使用については、ドキュメントの「HTTP API」セクションで説明しています。



HTTPリクエストを介した相互作用は、ほとんどすべてのプログラミング言語で簡単に実装できます。

Ethereumブロックチェーンとスマートコントラクトに関する他の本と記事

• イーサリアムブロックチェーンのスマートソリディティ契約の作成。 実用ガイド
• イーサリアムブロックチェーンリンケビーテストネットワークでの固体契約実験
• ネット:: Ethereum Solidity Contractモジュール