🍌 👩🏼‍🎨 ✊🏿 dCache-HIGGが存在するストレージ 🎹 🧑🏻 ☹️

最近、CERNおよびラージハドロン衝突型加速器（LHCまたはLHC）に関する多数の投稿がありました。しかし、LHCが年間約20 PBのデータを生成することを知っている人はあまりいません。すべてのデータの約50％がdCacheに保存されます。

dCacheは、通常のハードウェアで動作できる分散ストレージシステムであり、新しいノードを追加することで拡張できます。ノードで作業するために必要なのは、JVM（すべてがJavaで記述されているため）と、実際にデータが保存されるファイルシステムです。通常のインストールでは、Linux（RHEL / SL / CentOS 6）またはSolarisとXFSまたはZFSをそれぞれ使用します。実験データの性質により、dCacheは保存されたファイルの変更には対応していません。

dCacheは2000年から開発され、2002年からロシアを含む世界の80以上の科学センターで使用されています。最小のシステムは数TBの1つのノードで構成され、最大のシステムは最大500ノードで構成され、合計ディスク容量は22 PBです。

dCacheはさまざまなデータアクセスプロトコルをサポートしています。広く普及している標準プロトコルWebDAV、FTP、NFSv4.1 / pNFSとともに 、グリッドプロトコルSRMおよびGRIDFTPも使用されます。

dCacheの最も単純なアプリケーションは、分散WebDAVサーバーです。これに基づいて、HTTPとWebDAVを使用するクライアントがすでに十分な数になっているため、独自のCloud Storageを作成できます。

より一般的なアプリケーション-分散NFSv4.1ストレージを検討します。

DCacheはpostgresqlを使用してメタデータを保存します。

それでは始めましょう：

# yum install postgresql-server # yum install java-1.7.0-openjdk # yum install http://www.dcache.org/downloads/1.9/repo/2.6/dcache-2.6.10-1.noarch.rpm # /etc/init.d/postgresql initdb

/var/lib/pgsql/data/postgresql.confでTCPを有効にします：

listen_addresses = 'localhost'

/var/lib/pgsql/data/pg_hba.confに追加します

 host all all 127.0.0.1/32 trust # IPv6 local connections: host all all ::1/128 trust

 # /etc/init.d/postgresql restart # su postgres -c "createuser -D -R -S chimera" # su postgres -c "createdb -O chimera chimera" # su postgres -c "createlang plpgsql chimera"

すべての構成ファイルは/ etc / dcacheディレクトリにあります。そのうちの1つだけに興味があります：/etc/dcache/layout/single.conf。このノードで実行する必要があるサービスの説明があります。

/etc/dcache/layouts/single.confで動作するものをdCacheに指示します。

 [dCacheDomain] [dCacheDomain/admin] [dCacheDomain/broadcast] [dCacheDomain/poolmanager] [dCacheDomain/loginbroker] [dCacheDomain/pnfsmanager] [dCacheDomain/cleaner] [dCacheDomain/httpd] [dCacheDomain/topo] [dCacheDomain/nfsv41]

この構成では、対応するサービスを持つdCacheDomain（各ドメイン-1つのJVM、1つのプロセス）が作成されます。

同じノードで日付サーバーを構成します。

# dcache pool create /srv/dcache pool1 pool1Domain

このコマンドは、pool1という名前の日付サーバータイプのサービスを使用して、構成ファイルpool1Domainに追加します。

 [pool1Domain] [pool1Domain/pool] name=pool1 path=/srv/dcache waitForFiles=${path}/data

ディレクトリを作成します。

# chimera-cli mkdir /data<br> 
      

        
        
        
      

     # chimera-cli chmod /data 777

/ etc / exportsへのエクスポート：

/data *(rw)

dCacheを開始します。

# dcache start

ログファイルは/ var / log / dcacheにあります。

dCacheは分散ストレージであるため、pNFS（パラレルNFS）をサポートするNFSクライアントが必要です。これは、RHEL / CentOS 6またはその他の最新のLinuxディストリビューションです。

# mount -overs=4.1 :/data /data 
      

        
        
        
      

     
      

        
        
        
      

         ,  ,  ,       openjdk  dcache,  
      

        
        
        
      

     /etc/dcache/layouts/single.conf   : 
      

        
        
        
      

     dcache.broker.host=   : 
      

        
        
        
      

     # dcache pool create /srv/dcache pool2 pool2Domain 
      

        
        
        
      

    
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
      

        
        
        
      

      ,         . 
      

        
        
        
      

     
      

        
        
        
      

     To steal and contribute code 
      

        
        
        
      

      dCache-    ,    ,    AGPL, LGPL  BSD. 
      

        
        
        
      

     
      

        
        
        
      

     : 
      

        
        
        
      

     www.dcache.org 
      

        
        
        
      

     https://github.com/dCache/dcache 
      

        
        
        
      

     
      

        
        
        
      

      ,      .

`# mount -overs=4.1 :/data /data , , , openjdk dcache, /etc/dcache/layouts/single.conf : dcache.broker.host= : # dcache pool create /srv/dcache pool2 pool2Domain , . To steal and contribute code dCache- , , AGPL, LGPL BSD. : www.dcache.org https://github.com/dCache/dcache , .`

# mount -overs=4.1 :/data /data 
      

        
        
        
      

     
      

        
        
        
      

         ,  ,  ,       openjdk  dcache,  
      

        
        
        
      

     /etc/dcache/layouts/single.conf   : 
      

        
        
        
      

     dcache.broker.host=   : 
      

        
        
        
      

     # dcache pool create /srv/dcache pool2 pool2Domain 
      

        
        
        
      

    
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
      

        
        
        
      

      ,         . 
      

        
        
        
      

     
      

        
        
        
      

     To steal and contribute code 
      

        
        
        
      

      dCache-    ,    ,    AGPL, LGPL  BSD. 
      

        
        
        
      

     
      

        
        
        
      

     : 
      

        
        
        
      

     www.dcache.org 
      

        
        
        
      

     https://github.com/dCache/dcache 
      

        
        
        
      

     
      

        
        
        
      

      ,      .

`# mount -overs=4.1 :/data /data , , , openjdk dcache, /etc/dcache/layouts/single.conf : dcache.broker.host= : # dcache pool create /srv/dcache pool2 pool2Domain , . To steal and contribute code dCache- , , AGPL, LGPL BSD. : www.dcache.org https://github.com/dCache/dcache , .`

# mount -overs=4.1 :/data /data 
      

        
        
        
      

     
      

        
        
        
      

         ,  ,  ,       openjdk  dcache,  
      

        
        
        
      

     /etc/dcache/layouts/single.conf   : 
      

        
        
        
      

     dcache.broker.host=   : 
      

        
        
        
      

     # dcache pool create /srv/dcache pool2 pool2Domain 
      

        
        
        
      

    
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     
      

        
        
        
      

      ,         . 
      

        
        
        
      

     
      

        
        
        
      

     To steal and contribute code 
      

        
        
        
      

      dCache-    ,    ,    AGPL, LGPL  BSD. 
      

        
        
        
      

     
      

        
        
        
      

     : 
      

        
        
        
      

     www.dcache.org 
      

        
        
        
      

     https://github.com/dCache/dcache 
      

        
        
        
      

     
      

        
        
        
      

      ,      .

dCache-HIGGが存在するストレージ

More articles: