Nodebackup-コンテナー（docker）およびその他からのデータの保存

これは、システム管理者の主な命令を実行しようとした自作の自転車に関する話です。すべてが機能しましたが、何もしませんでした。 ）

いくつかの紹介

重要 -ここの情報はやや時代遅れで、一般的な説明は変更されていませんが、構成の一部が変更されているため、すぐにgithubを確認することをお勧めします。

私たちは数年間（正確には2年）会社に在籍しており、Linuxまたはコンテナに全面的に移行しています。 同社で開発中のプログラム自体もLinuxで動作するため、特別な問題はなく、パスは事前に決定されています。

原則として、AD、FileServer、およびテスト用の他のサーバーのみがありました。

最初に戻って、コンテナが表示されたときに、それらを保存する方法についての質問が発生し、いくつかのスクリプトがありましたが、手で多くのことをしなければならず、コンテナの数が増えて迷惑になりました。 そのため、コンテナー（サーバー（WindowsおよびLinux）からのデータ）を保存できるようにプログラムを作成しました。 これは、node.jsで作成した最初のプログラムであり、それに応じて適切でしたが、機能しました。 数か月後、エラーを見つけましたが、修正できませんでした。node.jsについて少し学んだので、async / awaitですべてを書き直すことにしました。そのため、書きたい2番目のバージョンが登場しました。

実装

上で書いたように、nodebackupはデータのみを保存できます。 内部では、 重複が機能します 。 Nodebackupは、データを複製するだけで準備できるようにデータを準備します。

仕組み

上の写真はすべてをうまく説明しています（私は自分でやったことを願っています）））が、言葉で繰り返します。

4つのコンポーネント（スターター、exec、クライアント、サーバー）があり、それらはすべて同じサーバー上にあっても異なるサーバー上にあってもよく、多くのクライアントがあってもかまいません。

Starterは実際にはnodebackupであり、node.jsがあればどこにでもインストールできます。 コンテナ内で動作します（後で説明します）

Exec-スターターはこのサーバーに接続し、すでにそこからすべてのコマンドを実行します。 たとえば、インターネットからネットワークに保存する必要がある場合に備えて、この部分をDMZに配置して、バックアップサーバーに回転させます。

クライアント -これは実際には保存が削除されるサーバーであり、Linux、Windows、またはドッカーホストにすることができます。

サーバーは、データが保存されるサーバーです。

Starterには、そのようなサーバーがそれらのクライアントのために保存し、クライアントの構成がそれをどう処理するかを既に記述していると言う構成があります。 クライアントがドッカーホストの場合、ラベルは各コンテナから読み取られ、このコンテナで何をするかが示されます。

構成

したがって、nodebackupがインストールされているサーバー（これはスターターです）のために、node.js> v6.5をインストールするだけで、たとえば3つのサーバー（windows fileserver（winserver）、linux（freepbx）、docker host（dockerhost1）など）をインストールするだけですこれはbackup2に保存されます。

backup2 -Exec / Serverの役割を果たし、その上で機能するには、cifs、duplicy、sshfsをインストールする必要があります。 smb、sshfsをマウントしてfreepbxサーバーからデータをマウントするにはCifsが必要で、これを保存するには重複が必要です。

また、LinuxまたはホストDockerの場合、クライアントはsshキーログインが必要です。

実際、これはサーバー上のセットアップ全体です。次に、nodebackupの構成を作成して、彼が何をすべきかを知る必要があります。

そのため、config.yamlファイルを作成します。このファイルはnodebackupフォルダーにある必要があります。

nodebackupの最初の部分

starter: sshkey: id_rsa log: path: log
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

id_rsaはsshキーです。この場合、同じフォルダーにあります。

次の部分はバックアップサーバー用です（この場合、backup2）

 backupserver: backup2: passphrase: PASSPHRASE-FOR-DUPLICITY HOST: backup2.example.com USER: admin2 PORT: '22' prerun: '["echo prerun1", "echo prerun2", "echo prerun3"]' #postrun: '["echo postrun1","echo postrun2","echo postrun3"]' backuppath: /backup duplicityarchiv: /backup/duplicityarchiv backuppartsize: 2048 tmpdir: /backup/backuptemp backupfor: '["winserver", "freepbx", "dockerhost1"]'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

パスフレーズ-保存するパスワード。サーバーに保存されているすべてのクライアントに使用されます

prerun、postrun-バックアップの前後にそれぞれ実行されるコマンド

backuppath-バックアップが保存される場所。

duplicityarchiv-オプション、重複はそれ自体のデータを保存します。多くのオプションがあります。オプションを設定しない場合、すべては/home/user/.config/duplicityに保存されます。

backuppartsize-バックアップは2048 MBの断片に分割されます。ここでは、独自の何かを書き込むことができます。

backupfor-ここにクライアントの名前が書き込まれます。それらの構成については以下で説明します。

顧客の一部となり、最初のwinserver

 clientserver: backup2: HOST: backup2.example.com USER: admin2 PORT: '22' sftpServer: sudo: true path: /usr/lib/sftp-server winserver: HOST: "windows.example.com" SMB: SET: "true" PATH: "d$" PASS: "userpass" DOMAIN: "example.com" USER: "backupservice" PORT: 22 backup: /cygdrive/d include: '["usershare", "publicshare", "Geschäftsleitung"]' exclude: '["publicshare/Softwarepool", "**"]' confprefixes: '["asynchronous-upload", "allow-source-mismatch"]'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このプログラムは主にLinux向けに作成されているため、ここでエラーが発生します。設定から削除できないアーティファクトがいくつかありました。これはPORT、バックアップです。

SMB-これは実際にはsambaの設定であり、ドメインにない場合にサーバーでどのように動作するか、わかりません

include、exclude-パスはSMB / PATHから取得され、includeがそれに添付され、excludeはそれに応じて削除されます

confprefixes-ここで、重複からオプションを追加できます。これはすべてドキュメントにあります。

Linuxでサーバーを追加します。この場合、フォルダーのみを保存する必要があります。

  freepbx: HOST: "freepbx.example.com" USER: root PORT: '22' nextfullbackup: 1M noffullbackup: 2 backup: /var/spool/asterisk/backup/taeglich prerun: '["mv /var/spool/asterisk/backup/taeglich/*.tgz /var/spool/asterisk/backup/taeglich/backup.tgz"]' postrun: '["rm -Rf /var/spool/asterisk/backup/taeglich/backup.tgz"]' confprefixes: '["asynchronous-upload"]'
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

nextfullbackup-新しい完全バックアップが作成される前に増分バックアップを実行できる量を示します。

noffullbackup-バックアップの数（fullbackupsの数）

prerun、postrun-バックアップの前後に実行されるコマンド

今最も重要な部分はコンテナのバックアップです

まず、config.yamlからの構成

  dockerhost1: HOST: dockerHostN010912m.example.local USER: docker PORT: 22 docker: 'true' sftpServer: sudo: true path: /usr/lib/sftp-server
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

docker-trueは、それがdockerホストであることを示します

sftpServer-rootを持たないが、sudo（パスワードなし）のユーザーがいる場合、この聖句が必要なので、ubuntuのようになります

プログラムは、それがdockerホストであることを確認した後、docker.sock（/var/run/docker.sock）からコンテナーに関する情報を読み取り、適切なラベルを見つけた場合は各Labelsを調べ、バックアップが行われます。

これは、ラベルが登録されているdocker-compose.yamlの一部であり、クライアントに関する一部の構成のように見えます

  labels: prerun: '["echoc prerun1", "echo prerun2"]' postrun: '["echo postrun1","echo postrun2"]' nextfullbackup: "1M" noffullbackup: "2" backup: "/a/data/backup-new-test" strategy: "off" confprefixes: '["allow-source-mismatch"]' name: "backup-new-test" processes: '["httpd"]' failovercustom: "echo 'failover ####################'" passphrase: "+++++containerPASS#######"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

prerun、postrun-コンテナではなく、Dockerホストで実行されます。

戦略-このオプションは、バックアップのためにコンテナをオフにする必要があるかどうかを示します。 重要：これにより、同じリンクコンテナもオフになります。

name-オプション。バックアップサーバー上のフォルダーの名前になります。ここに何もない場合は、コンテナー名がそのまま使用されます。

プロセス-これは監視トピックからのものであり、偶然ここに到達しました。

failovercustom-オプションで、バックアップ中にエラーが発生した場合、このコマンドが実行され、このオプションが存在しない場合は、単に「docker start CONTAINER + LINKS」

パスフレーズ-各コンテナに個別に登録することも、ドッカーホスト全体にグローバルに登録することもできます。 優先度はコンテナ、次にdockerホストです。

 starter: sshkey: id_rsa log: path: log backupserver: backup2: passphrase: PASSPHRASE-FOR-DUPLICITY HOST: backup2.example.com USER: admin2 PORT: '22' prerun: '["echo prerun1", "echo prerun2", "echo prerun3"]' #postrun: '["echo postrun1","echo postrun2","echo postrun3"]' backuppath: /backup duplicityarchiv: /backup/duplicityarchiv backuppartsize: 2048 tmpdir: /backup/backuptemp backupfor: '["winserver", "freepbx", "dockerhost1"]' clientserver: backup2: HOST: backup2.example.com USER: admin2 PORT: '22' sftpServer: sudo: true path: /usr/lib/sftp-server server2: HOST: "windows.example.com" SMB: SET: "true" PATH: "d$" PASS: "userpass" DOMAIN: "example.com" USER: "backupservice" PORT: 22 backup: /cygdrive/d include: '["usershare", "publicshare", "Geschäftsleitung"]' exclude: '["publicshare/Softwarepool", "**"]' confprefixes: '["asynchronous-upload", "allow-source-mismatch"]' freepbx: HOST: "freepbx.example.com" USER: root PORT: '22' nextfullbackup: 1M noffullbackup: 2 backup: /var/spool/asterisk/backup/taeglich prerun: '["mv /var/spool/asterisk/backup/taeglich/*.tgz /var/spool/asterisk/backup/taeglich/backup.tgz"]' postrun: '["rm -Rf /var/spool/asterisk/backup/taeglich/backup.tgz"]' confprefixes: '["asynchronous-upload"]' dockerhost1: HOST: dockerHostN010912m.example.local USER: docker PORT: 22 docker: 'true' sftpServer: sudo: true path: /usr/lib/sftp-server
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

原則として、設定を正しく設定すると、さまざまなことができます

コンテナの別の例。 大きなデータベースを持つコンテナが1つあり、データベースがコピーされるまで待機したくないので、コンテナをオフにし、スナップショットを作成し、コンテナをオンにし、スナップショットからゆっくりバックアップし、後で消去します。コンテナの構成は次のとおりです。

  labels: nextfullbackup: "1M" noffullbackup: "2" backup: "/cephrbd/mariadb-intern-prod/snapshot" prerun: '["sudo docker stop adito4internproddb_mariadb-dev_1 adito4internproddb_mariadb_1","sudo btrfs subvolume snapshot -r /cephrbd/mariadb-intern-prod /cephrbd/mariadb-intern-prod/snapshot","sudo docker start adito4internproddb_mariadb-dev_1 adito4internproddb_mariadb_1"]' postrun: '["sudo btrfs subvolume delete /cephrbd/mariadb-intern-prod/snapshot"]' strategy: "on"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、もちろん、サーバーからフォルダーを保存する必要があり、同じサーバーがdockerホストである場合もあります。これも機能します。

1つのconfig.yamlには、多数のバックアップサーバーと多数のクライアントを含めることができます。 たとえば、Hetznerからいくつかのサーバーがあり、それらもすべてconfig.yamlに登録されています

開始する

config.yamlができたので、バックアップを作成できます。

チームリスト

 /nodebackup # node BackupExecV3.js -h Usage: BackupExecV3 [options] Options: -h, --help output usage information -V, --version output the version number -b, --backup start backup -e, --exec [exec] server, which start backup job -t, --target [target] single server for backup -s, --server [server] backup server -d, --debug debug to console -f, --debugfile debug to file -r, --restore starte restore -c, --pathcustom [pathcustom] path to restore data (custom path) -o, --overwrite overwrite existing folder by recovery -p, --pathdefault [pathdefault] default path from config.yml -m, --time [time] backup from [time] -i, --verify verify all backups on a backup server Info: Read README.md for more info Backup: Backup: sudo ./BackupExecV3 -b -e backup2 -s backup2 Single backup: sudo ./BackupExecV3 -b -e backup2 -s backup2 -t freepbx Recovery: Backup to original path: sudo ./BackupExecV3.js -r -t backup-new-test -s backup2 -p freepbx -o Backup to custom path: sudo ./BackupExecV3.js -r -t backup-new-test -s backup2 -c freepbx:/tmp/newFolder Backup to custom path: sudo ./BackupExecV3.js -r -t backup-new-test -s backup2 -c freepbx:/tmp/newFolder -o -m (2D|1W|10s|50m)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

例1

バックアップを作成します。

 node BackupExecV3.js -b -e backup2 -s backup2 -d/f
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プログラムはconfig.yamlを見て、保存するサーバーを決定します。 その後、バックアップが行われます。

例2

個々のサーバーまたはコンテナのバックアップを作成します

 node BackupExecV3.js -b -e backup -s bacup2 -t CONTAINERNAME -d/f
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もう少し簡素化する

nodebackupを手動でインストールしないために、Dockerのイメージを作成しました（ こちら ）

このコンテナは、config.yaml、crontab.tmp、sshキーの3つのファイルをフィードする必要があります

docker-compose.yaml

 nodebackup: image: adito/nodebackup hostname: nodebackup environment: - SSMTP_SENDER_ADDRESS=no-reply@example.com - SSMTP_MAIL_SERVER=mail.example.com - SSMTP_HOST=nodebackup.example.com volumes: - ./config/config.yml:/nodebackup/config.yml:ro - ./config/id_rsa:/nodebackup/id_rsa:ro - ./config/crontab.tmp:/crontab.tmp:ro - /etc/timezone:/etc/timezone:ro - /etc/localtime:/etc/localtime:ro - /a/data/nodebackup/log:/a/data/log restart: always
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

crontab.tmp

 MAILTO=admin@example.com NODE_PATH=/usr/lib/nodejs:/usr/lib/node_modules:/usr/share/javascript # mh dom mon dow command 0 22 * * * node /nodebackup/BackupExecV3.js -b -s backup2 -e backup2 -f 0 22 * * * node /nodebackup/BackupExecV3.js -b -s hetznerdocker -e hetznerdocker -f 0 22 * * * node /nodebackup/BackupExecV3.js -b -s hetznerdocker2 -e hetznerdocker2 -f 0 22 * * * node /nodebackup/BackupExecV3.js -b -s hetznerdocker3 -e hetznerdocker3 -f 0 22 * * * node /nodebackup/BackupExecV3.js -b -s hetznerdocker4 -e hetznerdocker4 -f 0 22 * * * node /nodebackup/BackupExecV3.js -b -s hetznerdocker5 -e hetznerdocker5 -f
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

おわりに

他のみんながそれをどうやってやるかわからないので、少しグーグルで検索しましたが、このトピックで良いことを見つけられませんでした。多分それはあまり正確ではないかもしれませんが、とても簡単になりました。

githubのreadmeには、復元と検証のために他の例が書かれていますが、すべてがそこにあるように思えるので、ここでは説明しませんでした。主なことは、正しい構成config.yamlを作成することです。

これを書いた理由は2つあります。

1. 私たちはゆっくりとkubernetesに切り替えることを考えていますが、私の意見では、これは間違った決定になるでしょう。 誰かがコメントで正しい解決策を教えてくれるかもしれません。
2. 私はかなり長い間これをすべて行って書きましたが、他の人にも使ってほしいです。

参照資料

1. Nodebackup
2. Nodebackupコンテナー
3. 重複