すべてのhabrozhitelへのご挨拶！

ご想像のとおり、これはバックアップに関するものです。

タイムリーなバックアップは、システム管理者の作業の非常に重要な部分です。タイムリーなバックアップにより、睡眠は落ち着き、神経は鉄であり、力を与え、健康を保護します。

このトピックは既にスナップしていると仮定するのは合理的だと思いますが、それでも自分の経験を共有するリスクがあります。バックアップスキームのクライアント/サーバー実装が読者に提示されます。ツールとして、私はオープンソースプロジェクトのBaculaを選びました。 6か月以上の使用経験があり、私は自分の選択に満足しています。

Baculaはいくつかのデーモンで構成されており、それぞれが独自の機能負荷を担っています。以下の図は、これらの悪魔の関係を模式的に示しています。

habracatの下で、私はすべての悪魔を詳細に説明します

私の場合、バックアップは以下の対象となります。

すべてのサーバーのさまざまなデーモンの構成ファイル。
MySQLデータベース。
Windowsファイルサーバーからのワークフロー。
nixサーバーからのさまざまな重要なデータ（サイト/フォーラムエンジンなど）

1.バキュラデーモンの説明

このシステムは、クライアント/サーバーテクノロジー上に構築され、データ転送にTCPプロトコルを使用します。バックアップは、独自の完全にオープンな形式で作成されます。

Baculaのデータバックアップシステムは、Director Daemon、Storage Daemon、File Daemon、Bacula Consoleの4つの主要要素で構成されています。これらの要素はすべて、スタンドアロンアプリケーションとして実装されます。

Director Daemon（DD）は、他のコンポーネントを管理するシステムの中心的な要素です。彼のタスクには、バックアップ/復元プロセスの管理、管理者への管理インターフェイスの提供などが含まれます。簡単に言えば、これはすべてのプロセスを開始し、その進行状況を監視するディスパッチャです。

ストレージデーモン（SD）-ストレージデバイスに直接データを読み書きするアプリケーション。 DDからの制御コマンドと、ファイルデーモンへの冗長データを受け入れます。

ファイルデーモン（FD）-この要素はエージェントとも呼ばれます。結局のところ、オペレーティングシステムのフレームワーク内で作業するのは彼であり、そのデータをバックアップする必要があります。ファイルデーモンは、バックアップファイルにアクセスしてSDに転送することにより、ルーチン全体を実行します。また、FD側では、これが構成によって決定される場合、バックアップの暗号化が実行されます。

Bacula Console（BC）-システム管理者インターフェース。中核は、Baculaを管理するためのシェルです。厳密に言えば、Bacula Consoleは、通常、BCの単なるアドオンであるグラフィカルコントロールシステムで拡張できます。これらのシステムには、トレイモニターとバットが含まれます。 1つ目はシステム管理者のコンピューターにインストールされてバックアップシステムの動作を監視し、2つ目はグラフィカルインターフェイスを介して制御する機能を提供します。

Baculaカタログ-すべての予約ファイルとバックアップの場所に関する情報を保存するデータベース。必要なファイルの効率的なアドレス指定を保証するには、ディレクトリが必要です。 MySql、PostgreSql、SqLiteがサポートされています。

この構造分割により、Storage Daemonが複数のストレージデバイスを持つ専用サーバーに展開されている場合に、非常に柔軟なバックアップシステムを編成できます。 Bacula Directorは、SDの複数のインスタンスを管理し、データの一部を1つのストレージデバイスにバックアップし、一部を別のストレージデバイスにバックアップすることもできます。

2. OSおよびハードウェア

読者がバキュラの悪魔の仕事のアイデアを形成したので、私は自分でこのすべての美しさをどのように実現したかを説明します。

DD、SD、およびBaculaカタログのハードウェアとして、次の特性を持つPCがあります

装置	モデル	量	静電容量/周波数
HDD	日立HDS723020BLA642	3	2TB
CPU	AMD Phenom（tm）II X4 970プロセッサー	1	3500 MHz
マザーボード	ギガバイトGA-880GA-UD3H	1	-
RAM			3541 Mb

サーバーで使用されるOSおよびソフトウェアのバージョンについて

# lsb_release -a LSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch Distributor ID: CentOS Description: CentOS release 5.7 (Final) Release: 5.7 Codename: Final # uname -a Linux backupsrv.domain.ru 2.6.18-274.7.1.el5PAE #1 SMP Thu Oct 20 17:03:59 EDT 2011 i686 athlon i386 GNU/Linux # rpm -qa |grep -E "syslog-ng|bacula|mysql-ser" bacula-libs-5. 0.3-1 syslog-ng-2.1.4-9.el5 bacula-mysql-5. 0.3-1 mysql-server-5. 0.77-4.el5_6.6

データストレージには、いくつかのソフトウェア（mdadm）RAIDアレイが関係しています。

3つのディスク上にシステム用の3つのパーティションがあり、それらのいずれからでもロードできます。バックアップ用に2つのパーティションの1つのアレイ。

配列名	どのパーティションから	マウントポイント	ファイルシステム	配列レベル
md0	/ dev / sda1、/ dev / sdb1、/ dev / sdc1	ブーツ	ext2	1
md1	/ dev / sda2、/ dev / sdb2、/ dev / sdc2	/	ext3	1
md2	/ dev / sda3、/ dev / sdb3	/バックアップ	ext4	1

3.バックアップスキームの説明とBaculaデーモンの設定

合計で19個のBaculaクライアントが構成されていますが、請求サーバーとWindowsファイルサーバーからのドキュメントのバックアップについて説明します。これら2つのサーバーに焦点を当てているのは、他のクライアントも同様に構成されているためです。これらのクライアントサーバーの例を使用して、独自の構成を構築できます。

課金サーバーのバックアップは、基本的にmysqlデータベースとデーモンの構成ファイルのバックアップです。

BDでは、ジョブの前後にクライアントでローカルスクリプトを実行できます。

毎晩、バックアップサーバーでタスクが開始されると、ローカルのスクリプトが（課金サーバー自体で）実行され、課金データベースアーカイブが作成されます。このアーカイブはBDを取得し、対応するボリュームプールに配置します（実際、SDは読み取り/書き込み操作を制御しますが、今は関係ありません）。タスクの完了後すぐに、信頼性を高めるために、作成されたアーカイブを課金サーバー上の別のフォルダーに移動する別のスクリプトが起動されます。したがって、データベースアーカイブはBaculaと請求サーバーの両方にあります（はい、私は妄想です）。これらのメカニズムとスクリプトについては、以下で詳しく説明します。

Windowsファイルサーバーから、必要なすべてのワークフローを保存します。日曜日に、次の日、月曜日から土曜日の差分バックアップで完全バックアップが作成されます。

次に、Baculaデーモンの構成ファイルについて説明します。最も容量の大きいbacula-dir.confから始めましょう。

すべてのBaculaデーモンの構成ファイルは、いわゆるリソースの記述で構成されています。各リソースは、デーモンの特定の機能を特徴付けます。

構成内の各行についてコメントします。したがって、Baculaファイル（bacula-dir.conf、bacula-sd.conf、bacula-fd.conf）のリソースブロックは次のようになります。詳細を説明する必要がある場合は、コメントで示します。

リソースダイレクター

 Director { #  bacula director' Name = backupsrv.domain.ru-dir #   ,   default DIRport = 9101 #   ,   sql     Bacula Catalog(mysql database) QueryFile = "/usr/lib/bacula/query.sql" #      WorkingDirectory = "/backup/bacula-work/" # pid   PidDirectory = "/var/run" #      Maximum Concurrent Jobs = 1 #     BC    Password = "bacula_paS$w0rD10*" #   mail',    Messages Messages = Daemon #      DirAddress = 10.1.19.2 }

リソースカタログ、データベースへの接続について説明します

 Catalog { Name = MyCatalog dbname = "bacula"; dbuser = "bacula"; dbpassword = "edsfweo8vhwpe" }

メッセージリソース

 Messages { #      Director, ? Name = Daemon #    email mailcommand = "/usr/sbin/bsmtp -f \"\(Bacula\) \<%r\>\" -s \"Bacula daemon message\" %r" #     (root   admins@domain.ru) #   ,     mail = root@backupsrv.domain.ru = alert,error,fatal,terminate, !skipped #     console = all, !skipped, !saved #    append = "/var/lib/bacula/log" = alert,error,fatal,terminate, !skipped }

各クライアントのタスクは、プールとストレージを示します。

トートロジーについては申し訳ありませんが、これは顧客データのバックアップコピーがあるボリュームプールです。私のボリュームは、ソフトウェアRAIDアレイに配置されたバキュラ形式のファイルです。クライアントごとに異なるボリュームプールを定義できます。たとえば、さまざまなタイプのクライアント用に6つのプールを作成しました。以下の例では、請求データについて、そのうちの1つのみを説明しています。

ストレージは、ボリュームとして使用される物理デバイスを記述します。

（ストレージBGB-STはSD構成に記述されています）

リソースプール

 Pool { #  ,      Name = bgb #  ,       Pool Type = Backup # #   (   1-,   2-, #  3-, 3-  -   1-) Recycle = yes #    bacula catalog( mysql  ) #    AutoPrune = yes #       (volumes) #    ,      #  Volume Retention = 90 days #    Maximum Volume Bytes = 100G #      Maximum Volumes = 3 #       LabelFormat = "Vol" }

リソースストレージ

 Storage { #     (        #  Bacula,   ) Name = BGB-F Password = "StoRage_PaSSw0rD" # fqdn   Address = backupsrv.domain.ru #    SDPort = 9103 #      SD Device = BGB-ST #            # bacula( /backup/bgbilling/Vol0001) Media Type = File }

バックアップ請求データベースの例のタスク。

リソースクライアント

 Client { #  Name = bgbilling-fd # ip   Address = 10.103.2.5 # ,    FDPort = 9102 #  mysql   Bacula Catalog = MyCatalog #   FD Password = "Fd_paSSw0rd" #         #    ,      # (   !!) File Retention = 45 days #  ,     Job Retention = 90 days #    ( mysql)    AutoPrune = yes }

タスク自体。

ジョブリソース

 Job { #   Name = "BGBilling" # (backup or restore) Type = Backup # (,   ) Level = Full #   Client=bgbilling-fd #  -(   ,    ) FileSet="bgbilling-set" #  SD  Storage = BGB-F #  (     (volume)    # ) Pool = bgb #      (   - #    !) ClientRunBeforeJob = "/root/sh/before_bg_db_backup.sh" #      ClientRunAfterJob = "/root/sh/after_bg_db_backup.sh" #   messages,       Messages = Standard #   Schedule = "DaylyFullBGBilling" #       ,     # ,     , #     -    ,    Write Bootstrap = "/backup/bsr-files/bgbilling.bsr" }

私は仕事の前後に実行するスクリプトに専念することを約束しました。

仕事の前のスクリプト

 $ sudo cat /root/sh/before_bg_db_backup.sh #!/bin/bash PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin mysql -e "flush tables with read lock" --user=root --password="ololo" bgbilling lvcreate -L20G -s -n backup_db /dev/BGB-LVM1/billing_db mysql -e "unlock tables" --user=root --password="ololo" bgbilling mount /dev/BGB-LVM1/backup_db /backup tar -czf /usr/backups/`date +%Y-%m-%d_%H-%M`.bgb.tgz /backup/bgbilling/ umount /backup lvremove -f /dev/BGB-LVM1/backup_db

仕事の後のスクリプト

 $ sudo cat /root/sh/after_bg_db_backup.sh #!/bin/bash PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin rm /usr/backups/after_run_bacula_backup/* mv /usr/backups/*.tgz /usr/backups/after_run_bacula_backup/

FileSetリソース（バックアップとは何か）

 FileSet { Name = "bgbilling-set" Include { Options { #      , #      md5 signature = MD5 } #  ,    File = /usr/backups File = /etc File = /root/sh } Exclude { #      File = /usr/backups/after_run_bacula_backup/* File = /usr/backups/after_run_bacula_backup } }

起動タスクをスケジュールします。

スケジュールリソース

 Schedule { #   Name = "DaylyFullBGBilling" #    Run = Full sun-sat at 1:10 }

Windowsサーバーからドキュメントをバックアップするためのリソースについては詳しくコメントしません。bacula-dir.conf構成の対応する部分を完全に提供します

 Storage { Name = WINDOWS-F Address = backupsrv.domain.ru # NB Use a fully qualified name here SDPort = 9103 Password = "StoRage_PaSSw0rD" Device = WINDOWS-ST Media Type = File } Pool { Name = windows Pool Type = Backup Recycle = yes # Bacula can automatically recycle Volumes AutoPrune = yes # Prune expired volumes Volume Retention = 60 days Maximum Volume Bytes = 30G # Limit Volume size to something reasonable Maximum Volumes = 5 # Limit number of Volumes in Pool LabelFormat = "Vol-Windows" } Job { Name = "centra-bdk" Type = Backup Level = Full Client= centra-bdk-fd FileSet="centra-bdk-fd-fs" Storage = WINDOWS-F Pool = windows Messages = Standard Schedule = "Windows_Centra-bdk" Write Bootstrap = "/backup/bsr-files/centra-bdk.bsr" } FileSet { Name = "centra-bdk-fd-fs" Include { Options { signature = MD5 Compression=GZIP } #       ! File = "D:\\Public\\!!!\ " File = "D:\\Public\\\ " File = "D:\\Public\\tex\\Maps" File = "D:\\Public\\\  " File = "D:\\Public\\\ 1" } Exclude { File = "*.mp3" File = "*.avi" File = "*.wmv" } } Client { Name = centra-bdk-fd Address = 10.1.19.50 FDPort = 9102 Catalog = MyCatalog Password = "Fd_paSSw0rd" # password for FileDaemon File Retention = 30 days # 30 days Job Retention = 2 months # two months AutoPrune = yes # Prune expired Jobs/Files } Schedule { Name = "Windows_Centra-bdk" Run = Level=Full on sun at 07:10 Run = Level=Differential on mon-sat at 22:15 }

これでBD構成ファイルが完成しました。 SD構成に移りましょう-bacula-sd.confファイルの説明

リソースストレージ

 Storage { #   SD Name = backupsrv.domain.ru-sd #   SDPort = 9103 #   (  ) WorkingDirectory = "/var/lib/bacula" # pid   Pid Directory = "/var/run/bacula" #    ip SDAddress = 10.1.19.2 }

ディレクターリソース（bacula-dir.conf configで説明されているBDへのリンク）

 Director { #  DD,  ,     Name = backupsrv.domain.ru-dir #  Password = "StoRage_PaSSw0rD" }

さまざまなデバイスの説明が始まり、合計で4つの異なるデバイスを使用します。課金とWindowsの2つの例を挙げます。

課金用のリソースデバイス。

 Device { # ,         Name = BGB-ST #  Media Type = File #      (, volumes) Archive Device = /backup/bgbilling #       Pool'( Vol*) . #  DD LabelMedia = yes; #    File    Random Access = Yes; #   ,   AutomaticMount = yes; #   =) RemovableMedia = no; #   ,     AlwaysOpen = no; }

Windowsファイルサーバーのデバイスリソース

 Device { Name = WINDOWS-ST Media Type = File Archive Device = /backup/windows LabelMedia = yes; Random Access = Yes; AutomaticMount = yes; RemovableMedia = no; AlwaysOpen = no; }

リソースメッセージ。

 Messages { #  Name = Standard #  DD =   =   director = backupsrv.domain.ru-dir = all }

構成ファイルbconsole.conf、Baculaコンソールへのアクセス。

 Director { Name = backupsrv.ray-com.ru-dir DIRport = 9101 address = 10.1.19.2 Password = "bacula_paS$w0rD10*" }

適切なStorageフォルダーを作成し、baculaをこれらのフォルダーの所有者にすることを忘れないでください。

コメントからのヒント

@ / usr / local / etc / bacula / client.conf

@ / usr / local / etc / bacula / job.conf

@ / usr / local / etc / bacula / pool.conf

@ / usr / local / etc / bacula / fileset.conf

構成は異なるファイルに分割できますが、

オプション{署名= MD5圧縮= GZIP}

圧縮を有効にします。

サーバー側の構成が完了しました。

クライアント設定

各クライアントがfqdnサーバー名をそのIPアドレスに解決する必要があることに注意することが重要です！ DNSツールを提供するか、ホストに登録してください！

リソースディレクター。

 Director { #  BD Name = backupsrv.domain.ru-dir #     BD  (   Client  BD) Password = "Fd_paSSw0rd" }  FileDaemon FileDaemon { #   Name = bgbilling-fd #   9102 FDport = 9102 WorkingDirectory = /usr/lib/bacula Pid Directory = /var/run/bacula FDAddress = 10.103.2.5 }  Messeges Messages { Name = Standard director = backupsrv.domain.ru = all, !skipped, !restored append = "/var/bacula/log" = all, !skipped }

構成ファイルのコメントで、さまざまな構成ファイルでパスワードとデーモン名を一致させるパターンに言及したため、どこかで混乱している場合は、下の図を使用してください。

4.回復手順の例

batユーティリティを使用して、バックアップを監視および復元すると便利です。

Ubuntuでは、このように配置されます

 # sudo aptitude install bacula-console-qt

Gentooポータルでは見つけられなかったので、ソースから収集しました。

構成ファイルbat.confは、前述のbconsole.confと完全に似ています。

そのため、たとえば、特定の番号の請求データベースアーカイブを復元したいと思います。私が使用するアルゴリズムは次のとおりです。

1.バットを開き、必要なタスクを見つけます

2.コマンドリストファイルjobid = 3059を入力して、タスクに必要なファイルがあることを確認します

3.ここでコンソールに移動します（私にとっては、より便利です=））。コンソールで、請求アーカイブを別のクライアントに復元します

 $ sudo bconsole [sudo] password for onotole: Connecting to Director 10.1.19.2:9101 1000 OK: backupsrv.domain.ru-dir Version: 5.0.3 (30 August 2010) Enter a period to cancel a command. *restore Automatically selected Catalog: MyCatalog Using Catalog "MyCatalog" First you select one or more JobIds that contain files to be restored. You will be presented several methods of specifying the JobIds. Then you will be allowed to select which files from those JobIds are to be restored. To select the JobIds, you have the following choices: 1: List last 20 Jobs run 2: List Jobs where a given File is saved 3: Enter list of comma separated JobIds to select 4: Enter SQL list command 5: Select the most recent backup for a client 6: Select backup for a client before a specified time 7: Enter a list of files to restore 8: Enter a list of files to restore before a specified time 9: Find the JobIds of the most recent backup for a client 10: Find the JobIds for a backup for a client before a specified time 11: Enter a list of directories to restore for found JobIds 12: Select full restore to a specified Job date 13: Cancel Select item: (1-13): 9 Defined Clients: 1: 192.168.15.12-fd 2: 1.1.1.1-fd 3: 1.1.1.75-fd 4: ASTERISK-configs-fd 5: DHCPD-configs-fd 6: GW1-configs-fd 7: GW2-configs-fd 8: NAS-20-configs-fd 9: NAS-21-configs-fd 10: NAS-6-configs-fd 11: NAS-ololo-configs-fd 12: NS_AND_MAIL-configs-fd 13: RADIUS-ololo-configs-fd 14: VIRTSRV1-configs-fd 15: bgbilling-fd 16: configs-fd 17: domain.ru-fd 18: mydomain.ru-fd 19: tv.domain.ru-fd 20: zabbix.domain.ru-fd Select the Client (1-20): 15 Automatically selected FileSet: bgbilling-set +-------+-------+----------+----------------+---------------------+------------+ | JobId | Level | JobFiles | JobBytes | StartTime | VolumeName | +-------+-------+----------+----------------+---------------------+------------+ | 3,292 | F | 1,666 | 10,874,552,420 | 2011-12-19 02:31:08 | Vol0014 | +-------+-------+----------+----------------+---------------------+------------+ To select the JobIds, you have the following choices: 1: List last 20 Jobs run 2: List Jobs where a given File is saved 3: Enter list of comma separated JobIds to select 4: Enter SQL list command 5: Select the most recent backup for a client 6: Select backup for a client before a specified time 7: Enter a list of files to restore 8: Enter a list of files to restore before a specified time 9: Find the JobIds of the most recent backup for a client 10: Find the JobIds for a backup for a client before a specified time 11: Enter a list of directories to restore for found JobIds 12: Select full restore to a specified Job date 13: Cancel Select item: (1-13): 12 Enter JobId to get the state to restore: 3059 Selecting jobs to build the Full state at 2011-12-06 02:28:47 You have selected the following JobId: 3059 Building directory tree for JobId(s) 3059 ... +++++++++++++++++++++++++++++++++++++++++++++ 1,535 files inserted into the tree. You are now entering file selection mode where you add (mark) and remove (unmark) files to be restored. No files are initially added, unless you used the "all" keyword on the command line. Enter "done" to leave this mode. cwd is: / $ ls etc/ root/ usr/ $ ls usr usr/ $ mark usr 1,667 files marked. $ done Bootstrap records written to /backup/bacula-work//backupsrv.domain.ru-dir.restore.8.bsr The job will require the following Volume(s) Storage(s) SD Device(s) =========================================================================== Vol0010 BGB-F BGB-ST Volumes marked with "*" are online. 1,667 files selected to be restored. Run Restore job JobName: restore Bootstrap: /backup/bacula-work//backupsrv.domain.ru-dir.restore.8.bsr Where: /usr/restore Replace: always FileSet: bgbilling-set Backup Client: bgbilling-fd Restore Client: bgbilling-fd Storage: BGB-F When: 2011-12-26 15:01:38 Catalog: MyCatalog Priority: 10 Plugin Options: *None* OK to run? (yes/mod/no): mod Parameters to modify: 1: Level 2: Storage 3: Job 4: FileSet 5: Restore Client 6: When 7: Priority 8: Bootstrap 9: Where 10: File Relocation 11: Replace 12: JobId 13: Plugin Options Select parameter to modify (1-13): 5 The defined Client resources are: 1: bgbilling-fd 2: GW1-configs-fd 3: GW2-configs-fd 4: NAS-6-configs-fd 5: NAS-20-configs-fd 6: NAS-21-configs-fd 7: NAS-ololo-configs-fd 8: DHCPD-configs-fd 9: ASTERISK-configs-fd 10: NS_AND_MAIL-configs-fd 11: VIRTSRV1-configs-fd 12: mydomain.ru-fd 13: tv.domain.ru-fd 14: domain.ru-fd 15: 1.1.1.1-fd 16: 1.1.1.75-fd 17: zabbix.domain.ru-fd 18: 192.168.15.12-fd Select Client (File daemon) resource (1-18): 2 Run Restore job JobName: restore Bootstrap: /backup/bacula-work//backupsrv.ray-com.ru-dir.restore.8.bsr Where: /usr/restore Replace: always FileSet: bgbilling-set Backup Client: bgbilling-fd Restore Client: GW1-configs-fd Storage: BGB-F When: 2011-12-26 15:01:38 Catalog: MyCatalog Priority: 10 Plugin Options: *None* OK to run? (yes/mod/no): yes Job queued. JobId=3453 You have messages. *

4.タスクが正常に完了するのを待っています。ステータスは同じバットで追跡できます

さらなるスクリーンショット

最後まで私の作品を読んでくれたみんなに感謝します。

結論として、私は自分自身にさらにいくつかのヒントを許可します。

バックアップを作成し、エラーなしで完了したことを監視するだけでなく、定期的に展開してチェックすることも重要です。そのような練習は、最初に示された冷静さ、神経の強さ、および健康にさらに+100を与えます。 baculaデータベースとbsrファイルを定期的にバックアップすることも非常に良い習慣です。

明けましておめでとうございます!!!

使用されたソース：

1. www.ibm.com/developerworks/en/library/l-Backup_4

2. www.bacula.org/en/?page=documentation

Baculaを使用したWindowsおよび* nixサーバーデータの集中バックアップ