Windowsサーバーファイルの日曜大工バックアップ

ここでは、UNIX方式の最良の伝統で、最小限の数の外部モジュールを使用して、差分バックアップシステムを（ほとんど）すぐに使用できるようにする方法について説明します。

7za.exe \ 7zとUNIXに似たユーティリティpdate.exeを使用するため、時間が経つにつれて、ランプ* NIXのように作業するのが便利になり、bashの置き換えは「一般的な」BATになります。 背景と詳細-カットの下。

背景

すべては、作業コンピューターで個人のメールopen.exeによって開かれたファイルを開く、不注意で大胆不敵なユーザーに関する話から始まりました。 残念ながら、これは平凡なマルウェアではなく、完全に普通のエンコーダーであることが判明しました。 しかし、もちろん復元できないユーザーファイルに加えて、誰もがアクセスできる小さな、しかし重要なボールが1つヒットしました。



この暗号化されたわいせつを見て、私は毎日（これだけでなく）Windows Server 2003 SP2 x64の組み込みツールを使用してこの（これだけでなく）ボールのバックアップがあることを心から思い出しました。 しかし、このバックアップを調べてみたところ、Windows自体を使用したバックアップに関しては、すべてがバラ色ではないことに気付きました。 まず、完全バックアップが利用できないことが判明しました。つまり、コールドデータ（非常にまれにしか変更されないファイル）の回復は成功しそうにないことを意味します。 第二に、作成された増分バックアップからの復元は重要なタスクであることが判明しました。各ステップで、変更されたデータのみを復元でき、それ以上は復元できませんでした。 （完全バックアップが失われたため）少なくともすべての変更されたデータを復元するには、すべてのバックアップを順番に並べる必要があります。この場合、増分バックアップから予想したものとはまったく異なります。



皆さんの中には、バックアップのパフォーマンスを確認する必要があったと言う人もいるかもしれませんが、そうです。 しかし、業界で働いているあなた方は、管理者の時間がどこに行くことができるかを理解することができます-はい、彼らは最も多くのオンラインチケットオフィスです。



一生懸命考えて、Maxim Chirkov www.opennet.ru/dev/fsbackupによるfsbackupインクリメンタルコピーシステムを初めて知ったのを思い出しました-柔軟性、シンプルさ、多くの機能、オープンアーカイブストレージフォーマット（tar）。 システムが* NIX / Linuxの下で開発されたことは残念です。 GoogleはWindowsでの同様のシステムに関する私の質問にも答えませんでした。 私が見つけた最も有用なものは、 Habrovchanin antip0dの 短いガイドとバックアップ用のサンプルスクリプトです。 これは、スクリプトに使用した最後のリンクの素材でした。

システムをまとめる

まず、最新の安定バージョンをダウンロードします。 執筆時点では、これは16.04です。 バックアップを7zアーカイブに保存します。マルチスレッド、暗号化/マルチボリュームアーカイブのサポート、7zからの抽出速度はパッキング速度の10〜20倍です！

UPD：修正のためのTaciturn habrozhitelのおかげで-システムに既にインストールされている7z.exeを使用することもできます。 7zと7zaの機能の違いは見つかりませんでした。



興味があるのは：

7za.exeは、7-Zipのスタンドアロンバージョンです。

7za.dll-アーカイブ7zを操作するためのライブラリ

7zxa.dll-7zアーカイブを解凍するためのライブラリ。

64ビットオペレーティングシステムでは、x64ディレクトリの同じファイルを使用します。

残念ながら、私が使用している資料からpdateユーティリティへのリンクはどこにも通じません。

pdate v1.1ビルド2007.12.06

©2005-2007 Pavel Malakhov 24pm@mail.ru

組み込みのpdateマニュアルからのリンクがそこに、つまりどこにもつながりません。

pm4u.opennet.ru/mysoft/pdate.htm

幸いなことに、同じリソースに、このプログラムに関する短い記事があり、 ダウンロードできます 。



次のディレクトリ構造を使用しました。

D：\ winfsbackup-スクリプトおよび関連ファイルのルートディレクトリ

D：\ winfsbackup \ 7z-ライブラリと7za実行可能ファイル

D：\ winfsbackup \ backup-バックアップストレージの場所（他の使用済みファイルと同様に、変数を編集することで再割り当て可能）

D：\ winfsbackup \ lists-含まれるファイルと除外されるファイルのリスト。 それらについては少し後で説明します

D：\ winfsbackup \ log-ログ

D：\ winfsbackup \ pdate

D：\ winfsbackup \ tmp-一時ベースアーカイブの作業ディレクトリを設定します

D：\ winfsbackup \ winfsbackup.bat-スクリプト自体。

作業ロジック

変数の処理後、スクリプトはブロック：Mainを調べます。ここで、バックアップ操作ロジックが示されます-その場合、新しいバックアップを実行する必要があり、その場合-既存のベースアーカイブを更新します。 デフォルトでは、月の初めに新しいアーカイブが作成され、バックアップディレクトリのすべてのファイルが\ backup \ oldに移動されます。または、ベースアーカイブが存在しない場合。

すでにこの記事を書いている時点で、ベースアーカイブを更新する機能を追加する必要があることに気付きました-「月に1回の完全バックアップ+それへの差分バックアップ」の簡易バージョンは、最大250 GBまでのファイルエクスチェンジャーに使用することをお勧めします。 小さなファイルが優勢な550 GBのファイルホスティングサービスでは、バックアップ速度が不十分でした（約55時間）。 公平に言えば、これはパフォーマンスの信頼できる尺度としては機能しないと言われるべきです-バックアップ中に一部のファイルが利用できなかったことが判明し（hi chkdsk）、バックアップはディスクI / Oでもビジーなリモートサーバーのセクションにスタックされました

:Main REM   ,       \  ,    . REM   -        IF NOT EXIST %baseArch% GOTO BaseArchive REM     + t    IF %dm% EQU 1 GOTO BaseArchive ELSE GOTO UpdateArchive REM     1   REM IF %dm% EQU 1 GOTO UpdateBase ELSE GOTO UpdateArchive REM    (2, 19, 36  ) REM IF NOT %wn%.%dw% EQU 02.5 GOTO UpdateArchive REM IF NOT %wn%.%dw% EQU 19.5 GOTO UpdateArchive REM IF NOT %wn%.%dw% EQU 36.5 GOTO UpdateArchive REM   ,   REM IF %dw% EQU 6 (GOTO UpdateBase) ELSE (GOTO UpdateArchive) REM     ,       . REM      ECHO Warning! No one condition matching, check :Main block of script >> %Log% GOTO End
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最初の2つの条件はデフォルトで有効になっており、月1回の完全バックアップ+差分バックアップを記述しています。 残りの条件は代替です。つまり、一方をオンにした場合、もう一方をオフにするか、作業ロジックを好みに合わせて変更する必要があります。

変数

dm、dw、wn-それぞれ月の日、曜日、および週番号（数値で）。

verboseLevel- 「おしゃべり」モード。アーカイブの書き込み先などに関する情報を提供します。 スクリプト構造に大きな変更を加えるときに役立ちます。

tmpDirは、一時ファイルを保存する場所です。 デフォルトでは、7-Zipは古いベースアーカイブファイルと同じディレクトリに新しいベースアーカイブファイルをビルドします。 このキーを定義することにより、一時ベースアーカイブファイルが作成される作業ディレクトリを設定できます。 一時ベースアーカイブファイルが作成された後、元のファイルにコピーされます。 その後、一時ファイルが削除されます。

差分バックアップ

デフォルトでは、ベースアーカイブにないファイルと新しいファイルが差分バックアップに配置されます。 必要に応じて、この動作を変更できます。 キーの説明は、標準の7zヘルプファイルにあります。



このアプローチには利点があります（既に評価できています）-バックアップからの展開の速度。 完全復旧の場合、最後の（または他の）使用可能な差分バックアップを展開し、次に完全なアーカイブを展開して、既存のファイルの上書きを拒否します。

いくつかのコマンドラインオプション

-bsp2 -STDERRの進行状況を含む行を出力します。 STDOUT 7zはログにリダイレクトされます。もちろん、進捗はそこに書き込まれません。 このコマンドは、詳細については、STDERRに表示します。



-ssw-別のアプリケーションが書き込み用に開いているファイルをパックします。 このキーがインストールされていない場合、7-Zipはそのようなファイルをアーカイブに含めません。



-slpは非常に便利なオプションです。 ラージページモードでは、圧縮速度が向上します。 ただし、7-Zipはメモリ内の大きなページを配布している間、圧縮の開始時に一時停止があります。 7-Zipが大きなページに対応できない場合、通常の小さなページが配置されます。 さらに、7-Zipが大きなページを使用する場合、タスクマネージャーはプログラムによる実際のメモリ使用量を表示しません。 この機能はWindows 2003 / XP x64でのみ機能します。 システムの管理者権限も必要です。 この機能の推奨RAMサイズは3 GB以上です。 -slpモードを使用すると、7-Zipがメモリブロックを割り当てるときにWindowsシステムが数秒間フリーズする場合があります。 WindowsがRAMから7-Zipに大きなページを割り当てようとすると、Windowsはこの時点で他のタスクを中断する場合があります。 完全にシステムがフリーズしたように見えるかもしれませんが、その操作は復元され、配布が成功した場合、7-Zipはより速く動作します。 他のタスクを中断しない限り、 -slpモードを使用しないでください。 さらに、 -slpモードを使用して小さなデータセット（100 MB未満）を圧縮することは意味がありません。 ただし、大きな辞書でLZMAメソッドを使用して大きなデータセット（300 MB以上）を圧縮すると、 -slpモードで5％-10％の速度向上が得られます。

-mmt = on-マルチスレッドモードを設定します。 マルチプロセッサ/マルチコアシステムを使用している場合、このキーを使用して速度を上げることができます。 7-Zipは、LZMA / LZMA2圧縮とBZip2圧縮/解凍のみでマルチスレッドをサポートします。



-ms = off-ソリッドアーカイブの作成を無効にします。 この場合の圧縮品質はもちろん低下しますが、いくつかの非常に重要な利点があります-定期的にベースアーカイブのデータを更新して差分バックアップのサイズを削減できます。アーカイブが完了していないため、それ以上「ピンチ」する必要はありません。 非固体アーカイブは損傷に対してより耐性があり、アーカイブから抽出する時間ははるかに高速です。



シートを含める/除外する

デフォルトでは、2つのタイプのリストが定義されています-インクルードされたファイル/ディレクトリのリスト（ include_general.txt ）、および2つの除外リスト（ exclude_general.txt 、 exclude_regexp.txt ）。



包含リストはUNCパスもサポートしています。 ファイル/ディレクトリを例外に配置するには、パスが相対パスである必要があります。



たとえば、バックアップディレクトリがE：\ foo \ barで、サブフォルダーE：\ foo \ bar \ somefolderを除外する場合、exclude_general.txtにbar \ somefolderまたはbar \ somefolder \を追加する必要があります



末尾にスラッシュのないパスは、ファイルまたはディレクトリを参照できます。

Exclude_regexp.txtには、再帰的に表示されるregexpによって除外されたファイルが含まれます。 *-任意の文字のシーケンス、？ -任意のキャラクター。

7-Zipはシステムワイルドカードパーサーを使用しないため、7 Zipの「任意のファイル」は「*」であり、「*。*」は拡張子を持つファイルです。



そして最後に、スクリプト全体：

 @ ECHO OFF REM Sources were found on http://sysadminwiki.ru/wiki/___Windows CD %~dp0 TITLE winfsbackup MODE CON: COLS=120 LINES=55 ECHO Setting vars... REM --- Definition block --- SET verboseLevel=1 SET tmpDir=D:\winfsbackup\tmp SET run_7z=D:\winfsbackup\7z\7za.exe SET run_pdate=D:\winfsbackup\pdate\pdate.exe FOR /F "usebackq" %%a IN (`%run_pdate% e`) DO (SET dm=%%a) FOR /F "usebackq" %%a IN (`%run_pdate% u`) DO (SET dw=%%a) FOR /F "usebackq" %%a IN (`%run_pdate% V`) DO (SET wn=%%a) SET LogDir=D:\winfsbackup\log SET Log=%LogDir%\general.log SET dDir=D:\winfsbackup\backup SET dlmDir=D:\winfsbackup\backup\old SET baseArch=%dDir%\general.7z SET IncludeList=lists\include_general.txt SET ExcludeList=lists\exclude_general.txt SET ExcludeRegexp=lists\exclude_regexp.txt SET updArch_dw=%dDir%\day_general_%dw%.7z SET updArch_wn=%dDir%\week_general_%wn%.7z IF %verboseLevel%==0 GOTO Main ECHO Verbose mode ON! ECHO Today is %wn% week of year, %dw% day of week. ECHO Full quarter backup will execute (if enabled) on 2, 19 and 36 week, friday. ECHO Temporary directory is %tmpDir% ECHO Now logging into %Log% ECHO Current backup directory is %dDir%, older backups stored into %dlmDir% :Main REM Here discribed conditions - in which case script will make new backup, update older one, etc REM You are free to change these conditions REM Make sure you envisaged all possible cases REM Actions here are not disigned to be active more than 1 at same time, excluding base condition REM If you want multiple conditions, you should edit it REM Base condition - full backup will be created if it is not exist IF NOT EXIST %baseArch% GOTO BaseArchive REM Command below turns on making full backup at 1'st day of every month, in other days - increments REM IF %dm% EQU 1 GOTO BaseArchive ELSE GOTO UpdateArchive REM This option enables updating full backup every month IF %dm% EQU 1 GOTO UpdateBase ELSE GOTO UpdateArchive REM Uncomment these 3 commands if you want to run full backup ~every quarter (2, 19, 36 week of year) REM IF NOT %wn%.%dw% EQU 02.5 GOTO UpdateArchive REM IF NOT %wn%.%dw% EQU 19.5 GOTO UpdateArchive REM IF NOT %wn%.%dw% EQU 36.5 GOTO UpdateArchive REM This option enables rewriting base archive every saturday with new files in order to decrease size of increments REM IF %dw% EQU 6 (GOTO UpdateBase) ELSE (GOTO UpdateArchive) REM Here you can place default action if conditions of previous ones were not executed. %run_pdate% "Z --- \A\c\t\i\o\n \w\a\s\ \n\o\t \s\e\l\e\c\t\e\d\! >> %Log% ECHO Warning! No one condition matching, check :Main block of script GOTO End :BaseArchive ECHO Clear %dlmDir% and move data of previous month to that dir... IF NOT EXIST %dlmDir%\nul MKDIR %dlmDir% DEL /Q %dlmDir%\* MOVE /Y %dDir%\* %dlmDir% 2> nul %run_pdate% "====== YB =======" > %Log% %run_pdate% "Z --- \S\t\a\r\t \t\o \c\r\e\a\t\e \n\e\w \a\r\c\h\i\v\e" >> %Log% ECHO Creating new backup %baseArch% %run_7z% a %baseArch% -w%tmpDir% -i@%IncludeList% -x@%ExcludeList% -xr@%ExcludeRegexp% -bsp2 -ssw -slp -scsWIN -mmt=on -mx3 -ms=off >> %Log% IF %ERRORLEVEL%==0 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \0 \- \a\r\c\h\i\v\e \s\u\c\c\e\s\s\f\u\l\l\y \c\r\e\a\t\e\d!" >> %Log% ) ELSE ( IF %ERRORLEVEL%==1 ( %run_pdate% "Z --- \W\a\r\n\i\n\g\! \R\e\c\i\e\v\e\d\ \e\x\i\t \c\o\d\e \1" >> %Log% ) ELSE ( IF %ERRORLEVEL%==2 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \2 \- \F\A\T\A\L \E\R\R\O\R\!" >> %Log% ) ELSE ( IF %ERRORLEVEL%==7 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \7 \- \C\o\m\m\a\n\d \p\r\o\m\p\t \e\r\r\o\r!" >> %Log% ) ELSE ( IF %ERRORLEVEL%==8 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \8 \- \N\o\t \e\n\o\u\g\h \m\e\m\o\r\y" >> %Log% ) ELSE ( ECHO Recieved error 255 - user stopped running process or exit code unknown! >> %Log% ) ) ) ) ) ) ) GOTO End :UpdateBase ECHO Refreshing base archive ECHO ******* ******* ******* >> %Log% %run_pdate% "Z --- \S\t\a\r\t \t\o \u\p\d\a\t\e \a\r\c\h\i\v\e" >> %Log% %run_7z% u %baseArch% -up0q1r2x1y2z1w0 -w%tmpDir% -i@%IncludeList% -x@%ExcludeList% -xr@%ExcludeRegexp% -bsp2 -ssw -slp -scsWIN -mmt=on -mx5 -ms=off >> %Log% IF %ERRORLEVEL%==0 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \0 \- \u\p\d\a\t\e \s\u\c\c\e\s\s\f\u\l\l\y \f\i\n\i\s\h\e\d" >> %Log% ) ELSE ( IF %ERRORLEVEL%==1 ( %run_pdate% "Z --- \W\a\r\n\i\n\g\! \R\e\c\i\e\v\e\d\ \e\x\i\t \c\o\d\e \1" >> %Log% ) ELSE ( IF %ERRORLEVEL%==2 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \2 \- \F\A\T\A\L \E\R\R\O\R\!" >> %Log% ) ELSE ( IF %ERRORLEVEL%==7 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \7 \- \C\o\m\m\a\n\d \p\r\o\m\p\t \e\r\r\o\r!" >> %Log% ) ELSE ( IF %ERRORLEVEL%==8 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \8 \- \N\o\t \e\n\o\u\g\h \m\e\m\o\r\y" >> %Log% ) ELSE ( ECHO Recieved error 255 - user stopped running process or exit code unknown! >> %Log% ) ) ) ) ) ) ) GOTO End :UpdateArchive ECHO Updtaing existing full backup ECHO ******* ******* ******* >> %Log% %run_pdate% "Z --- \S\t\a\r\t \t\o \u\p\d\a\t\e \a\r\c\h\i\v\e" >> %Log% IF %dw%==7 (SET updArch=%updArch_wn%) ELSE SET updArch=%updArch_dw% REM --- Check files existence --- IF EXIST %updArch% DEL /Q %updArch% REM --- Create incremental archive --- <nul set /p strTemp=Updating %baseArch% to incremental %updArch% archive ECHO. %run_7z% u %baseArch% -u- -up0q0r2x0y2z0w0!%updArch% -w%tmpDir% -i@%IncludeList% -x@%ExcludeList% -xr@%ExcludeRegexp% -bsp2 -ssw -slp -scsWIN -mmt=on -mx5 -ms=off >> %Log% IF %ERRORLEVEL%==0 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \0 \- \u\p\d\a\t\e \s\u\c\c\e\s\s\f\u\l\l\y \f\i\n\i\s\h\e\d" >> %Log% ) ELSE ( IF %ERRORLEVEL%==1 ( %run_pdate% "Z --- \W\a\r\n\i\n\g\! \R\e\c\i\e\v\e\d\ \e\x\i\t \c\o\d\e \1" >> %Log% ) ELSE ( IF %ERRORLEVEL%==2 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \2 \- \F\A\T\A\L \E\R\R\O\R\!" >> %Log% ) ELSE ( IF %ERRORLEVEL%==7 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \7 \- \C\o\m\m\a\n\d \p\r\o\m\p\t \e\r\r\o\r!" >> %Log% ) ELSE ( IF %ERRORLEVEL%==8 ( %run_pdate% "Z --- \E\x\i\t \c\o\d\e \8 \- \N\o\t \e\n\o\u\g\h \m\e\m\o\r\y" >> %Log% ) ELSE ( ECHO Recieved error 255 - user stopped running process or exit code unknown! >> %Log% ) ) ) ) ) ) ) :End ECHO Done! %run_pdate% "Z --- \D\o\n\e" >> %Log% ping localhost -w 1000 -n 5 > nul
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

終わる代わりに

そのような決定に反対し、あらゆる種類の頭字語やその他の「テリー企業」を使用するために、あらゆる手と足で「反対する」人々が常に存在します。



ソリューションはタスクに見合ったものである必要があると考えています。私の場合、タスクは人里離れた場所にファイルショップのバックアップを置くことです。これは迅速に展開できます-これはntbackupが私を失望させたものです。



収集された例は、 YandexDiskで表示できます。



ダウンロード用のzipアーカイブもあります。

建設的な批判、アドバイス、さらにはテスト-ようこそ！

ご清聴ありがとうございました！ すべての長い稼働時間、安定したリンク、そしてもちろん、手元のバックアップ。