バックアップ、パート1：目的、方法とテクノロジーの概要

分類は任意です。 自然は分類しません。 私たちはより便利だから分類します。 そして、私たちもarbitrarily意的に取るデータに従って分類します。



—ヤン・ブラーラー

物理ストレージ方法に関係なく、データの論理ストレージは、このデータにアクセスする2つの方法に分割できます。ブロックとファイルです。 この区分は最近、非常に不明瞭になりました。これは、純粋にブロック化された論理ストレージが存在しないためです。 ただし、簡単にするために、それらはそうであると仮定します。



データのブロックストレージは、データがいくつかの固定部分、ブロックに記録される物理デバイスがあることを意味します。 ブロックへのアクセスは特定のアドレスに行き、各ブロックはデバイス内で独自のアドレスを持ちます。



通常、バックアップはデータブロックをコピーすることによって行われます。 コピー時のデータの整合性を確保するために、新しいブロックの記録と既存のブロックの変更は中断されます。 通常の世界から類推すると、最も近いクローゼットは同じ番号のセルになります。







論理デバイスの原理によるデータのファイルストレージは、ブロックストレージに近く、多くの場合上に編成されます。 重要な違いは、ストレージの階層と人間が読める名前です。 抽象化は、ファイルの形式で強調表示されます-名前付きデータ領域とディレクトリ-説明と他のファイルへのアクセスが保存される特別なファイル。 ファイルには、作成時間、アクセスフラグなどの追加のメタデータを指定できます。 通常、この方法でバックアップします。変更されたファイルを探し、同じ構造の別のファイルストレージにコピーします。 データの整合性は、通常、書き込まれるファイルがないことによって実装されます。 ファイルのメタデータも同様にバックアップされます。 最も近い類推は図書館であり、そこには異なる本のセクションと、人間が読める本の名前のカタログがあります。







最近、原則としてファイルストレージが開始され、同じ古風な機能を持つ別のオプションであるオブジェクトデータストレージが説明されることがあります。



複数のネスト（フラットレイアウト）を持たないという点でファイルストレージとは異なります。ファイル名は、人間が読み取れるものの、マシンによる処理に適しています。 バックアップするとき、オブジェクトストアはほとんどの場合ファイルストレージのように扱われますが、時には他のオプションがあります。

-システム管理者には、バックアップを作成しない人と既に作成する人の2種類があります。

-実際には、3つのタイプがあります。バックアップを復元できることを確認する人もいます。



-不明

データのバックアップ自体のプロセスはプログラムによって実行されるため、別のプログラムと同じ欠点があることを理解することも価値があります。 排除するには（除外しない！）人的要因への依存、および機能-個別に強く影響を与えないが、具体的な効果を与えることができる機能-いわゆる ルール3-2-1。 それを復号化するための多くのオプションがありますが、私は次の解釈を好みます：同じデータを3セット保存し、2セットを異なるフォーマットで保存し、1セットを地理的に離れたストレージに保存する必要があります。



ストレージ形式は次のように理解する必要があります。

• 物理的な保管方法に依存している場合は、物理的な方法を変更します。
• 論理ストレージ方式に依存している場合、論理方式を変更します。

ルール3-2-1の最大の効果を実現するには、両方の方法でストレージ形式を変更することをお勧めします。



意図した目的（操作性の復元）のためのバックアップコピーの可用性の観点から、「ホット」および「コールド」バックアップがあります。 ホットとコールドの違いは1つだけです。すぐに作業の準備ができているのに対して、リカバリのコールドには、復号化、アーカイブからの抽出などの追加のアクションが必要です。



ホットコピーとコールドコピーをオンラインコピーとオフラインコピーと混同しないでください。オンラインコピーとオフラインコピーは、データの物理的な分離を意味し、実際、バックアップ方法の分類のもう1つの兆候です。 そのため、オフラインコピーは、復元する必要があるシステムに直接接続されていないため、ホットまたはコールドのいずれかになります（リカバリの準備の観点から）。 オンラインコピーは、復元する必要がある場所で直接利用できる場合があります。ほとんどの場合、オンラインコピーはホットですが、コールドコピーもあります。



さらに、バックアップの作成プロセスは通常、単一のバックアップの作成で終わるわけではなく、非常に多くのコピーが存在する可能性があることを忘れないでください。 したがって、完全バックアップを区別する必要があります。 他のバックアップから独立して回復可能なもの、および差分（増分、差分、減分など）コピー-単独では復元できず、1つ以上の他のバックアップの予備復元が必要なもの。



差分増分バックアップ-バックアップを保存するためのスペースのサイズを節約する試み。 したがって、以前のバックアップから変更されたデータのみがバックアップに書き込まれます。



差分デクリメンタルは同じ目的で作成されますが、わずかに異なる方法で作成されます。完全バックアップが作成されますが、新しいコピーと以前のコピーの違いのみが実際に保存されます。



それとは別に、ストレージ上でのバックアッププロセスを検討する価値があります。これにより、重複するストレージがなくなります。 したがって、完全バックアップをその上に書き込むと、実際にはバックアップ間の違いのみが記録されますが、バックアップの復元プロセスは完全コピーからの復元と完全に透過的です。

Quis custodiet ipsos custodes？



（監視員自身を守るのは誰ですか？-lat。）

バックアップがない場合は非常に不快ですが、バックアップが作成されたように見える場合はさらに悪いですが、復元中に復元できないことがわかります。

• ソースデータの整合性が侵害されています。
• バックアップストレージが破損しています。
• リカバリの動作は非常に遅く、部分的に復元されたデータは使用できません。

適切に構築されたバックアッププロセスでは、このようなコメント、特に最初の2つを考慮する必要があります。



ソースデータの整合性は、いくつかの方法で保証できます。 最も一般的に使用されるのは、a）ブロックレベルでのファイルシステムスナップショットの作成、b）ファイルシステムの状態の凍結、c）バージョンストレージを備えた特別なブロックデバイス、d）ファイルまたはブロックの順次記録です。 チェックサムは、リカバリ中のデータ検証を確実にするためにも使用されます。



ストレージの損傷は、チェックサムを使用して検出することもできます。 追加の方法は、既に記録されたデータを変更することは不可能ですが、新しいものを追加することができる特殊なデバイスまたはファイルシステムの使用です。



リカバリを高速化するために、いくつかのリカバリプロセスでデータリカバリが使用されます-低速ネットワークまたは低速ディスクシステムの形で「ボトルネック」が存在しない場合。 部分的に復元されたデータの状況を回避するために、バックアッププロセスを比較的小さなサブタスクに分割し、各サブタスクを個別に実行することができます。 したがって、リカバリ時間を予測して一貫してパフォーマンスを復元することが可能になります。 この問題は、多くの場合、組織面（SLA）にあるため、これについては詳しく説明しません。

スパイスについて多くのことを知っているのは、各料理にスパイスを加える人ではなく、余分なものを決して加えない人です。



—B。 シンヤフスキー

システム管理者が使用するソフトウェアに関する慣行は異なる場合がありますが、一般的な原則はとにかく同じです。

• 既製のソリューションを強くお勧めします。
• プログラムは予想どおりに動作するはずです。 文書化されていない機能やボトルネックはありません。
• 各プログラムのセットアップは、マニュアルやチートシートを毎回読む必要がないように、十分にシンプルでなければなりません。
• 可能であれば、解決策は普遍的でなければなりません。 サーバーのハードウェア仕様は非常に異なる場合があります。

ブロックデバイスからバックアップを取得するには、次の一般的なプログラムを使用できます。

• システム管理のベテランに馴染みのdd、同様のプログラム（たとえば、同じdd_rescue）がここに属します。
• ファイルシステムのダンプを作成するいくつかのファイルシステムに組み込まれているユーティリティ（ユーティリティ）。
• 雑食ユーティリティ。 例：パートクローン。
• 多くの場合、独自の決定を所有します。 例：NortonGhost以降。

ファイルシステムの場合、バックアップタスクはブロックデバイスに適用可能な方法を使用して部分的に解決されますが、次の例を使用して問題をより効率的に解決できます。

• Rsync、ファイルシステムの状態を同期するための汎用プログラムおよびプロトコル。
• 組み込みのアーカイブツール（ZFS）。
• サードパーティのアーカイブツール。 最も人気のある代表者はtarです。 他にも、たとえばdarがあります。tarを最新のシステムに重点を置いて置き換えます。

それとは別に、バックアップの作成時にデータの一貫性を確保するためのソフトウェアツールに言及する価値があります。 最も一般的に使用されるオプションは次のとおりです。

• ファイルシステムを読み取り専用モードでマウントする（ReadOnly）、またはファイルシステムをフリーズする（フリーズする）-方法は制限されます。
• ファイルシステムまたはブロックデバイス（LVM、ZFS）の状態のスナップショットを作成します。
• 前の段落を何らかの理由で提供できない場合（ホットコピーなどのプログラム）でも、キャストを整理するためのサードパーティツールの使用。
• 変更時のコピー手法（CopyOnWrite）ですが、ほとんどの場合、使用されているファイルシステム（BTRFS、ZFS）に関連付けられています。

sysbench --threads = 4 --time = 30 --cpu-max-prime = 20,000 cpu run

sysbench 1.1.0-18a9f86（バンドルされたLuaJIT 2.1.0-beta3を使用）

次のオプションを使用してテストを実行します。

スレッド数：4

現在時刻から乱数ジェネレーターを初期化する



素数の制限：20,000



ワーカースレッドの初期化...



スレッドが開始しました！



CPU速度：

1秒あたりのイベント：836.69



スループット：

イベント/秒（eps）：836.6908

経過時間：30.0039s

イベントの総数：25104



レイテンシー（ミリ秒）：

最小：2.38

平均：4.78

最大：22.39

95パーセンタイル：10.46

合計：119923.64



スレッドの公平性：

イベント（avg / stddev）：6276.0000 / 13.91

実行時間（avg / stddev）：29.9809 / 0.01



sysbench --threads = 4 --time = 30 --memory-block-size = 1K --memory-scope = global --memory-total-size = 100G --memory-oper = read memory run

sysbench 1.1.0-18a9f86（バンドルされたLuaJIT 2.1.0-beta3を使用）

次のオプションを使用してテストを実行します。

スレッド数：4

現在時刻から乱数ジェネレーターを初期化する



次のオプションを使用してメモリ速度テストを実行します。

ブロックサイズ：1KiB

合計サイズ：102400MiB

操作：読み取り

スコープ：グローバル



ワーカースレッドの初期化...



スレッドが開始しました！



合計操作：50900446（1696677.10 /秒）



49707.47 MiB転送（1656.91 MiB /秒）



スループット：

イベント/秒（eps）：1696677.1017

経過時間：30.0001s

イベントの総数：50900446



レイテンシー（ミリ秒）：

最小：0.00

平均：0.00

最大：24.01

95パーセンタイル：0.00

合計：39106.74



スレッドの公平性：

イベント（avg / stddev）：12725111.5000 / 137775.15

実行時間（avg / stddev）：9.7767 / 0.10



sysbench --threads = 4 --time = 30 --memory-block-size = 1K --memory-scope = global --memory-total-size = 100G --memory-oper = write memory run

sysbench 1.1.0-18a9f86（バンドルされたLuaJIT 2.1.0-beta3を使用）

次のオプションを使用してテストを実行します。

スレッド数：4

現在時刻から乱数ジェネレーターを初期化する



次のオプションを使用してメモリ速度テストを実行します。

ブロックサイズ：1KiB

合計サイズ：102400MiB

操作：書き込み

スコープ：グローバル



ワーカースレッドの初期化...



スレッドが開始しました！



合計操作：35910413（1197008.62毎秒）



35068.76 MiB転送（1168.95 MiB /秒）



スループット：

イベント/秒（eps）：1197008.6179

経過時間：30.0001s

イベントの総数：35910413



レイテンシー（ミリ秒）：

最小：0.00

平均：0.00

最大：16.90

95パーセンタイル：0.00

合計：43604.83



スレッドの公平性：

イベント（avg / stddev）：8977603.2500 / 233905.84

実行時間（avg / stddev）：10.9012 / 0.41



sysbench --threads = 4 --file-test-mode = rndrw --time = 60 --file-block-size = 4K --file-total-size = 1G fileio run

sysbench 1.1.0-18a9f86（バンドルされたLuaJIT 2.1.0-beta3を使用）

次のオプションを使用してテストを実行します。

スレッド数：4

現在時刻から乱数ジェネレーターを初期化する



追加のファイルオープンフラグ：（なし）

128ファイル、それぞれ8MiB

1GiBの合計ファイルサイズ

ブロックサイズ4KiB

IOリクエストの数：0

組み合わされたランダムIOテストの読み取り/書き込み比率：1.50

定期的なFSYNCを有効にし、100リクエストごとにfsync（）を呼び出します。

テストの終了時にfsync（）を呼び出して有効にします。

同期I / Oモードを使用する

ランダムr / wテストを行う

ワーカースレッドの初期化...



スレッドが開始しました！



スループット：

読み取り：IOPS = 3868.21 15.11 MiB / s（15.84 MB / s）

書き込み：IOPS = 2578.83 10.07 MiB / s（10.56 MB / s）

fsync：IOPS = 8226.98



レイテンシー（ミリ秒）：

最小：0.00

平均：0.27

最大：18.01

95パーセンタイル：1.08

合計：238469.45

1. バックアップ、パート1：バックアップが必要な理由、方法、技術の概要
2. バックアップ、パート2：rsyncベースのバックアップツールの概要とテスト
3. バックアップ、パート3：重複の概要とテスト、重複
4. バックアップ、パート4：zbackup、restic、borgbackupの概要とテスト
5. バックアップ、パート5：BaculaおよびVeeam Backup for Linuxのテスト
6. バックアップ：読者から要求された部分：AMANDAレビュー、UrBackup、BackupPC
7. バックアップ、パート6：バックアップツールの比較
8. バックアップパート7：結論