1つのサーバーをチェックしても問題はありません。 チェックリストを取り、順番にチェックしてください：プロセッサ、メモリ、ディスク。 しかし、100台のサーバーでは、この方法はうまく機能しない可能性があります。 人的要因を排除し、チェックの信頼性と高速性を高めるには、プロセスを自動化する必要があります。 ホスティングプロバイダーよりも優れた方法を知る必要があるのは誰ですか？ HighLoad ++ SiberiaのArtyom Artemyevは、使用できるメソッド、手で実行する方が良い方法、自動化するのに適切な方法について説明しました。 次はテキスト版のレポートで、鉄を使って仕事をしており、定期的に性能を確認する必要がある人なら誰でも繰り返すことができるヒントがあります。







講演者について：大手ホスティングプロバイダーFirstVDSのArtyom Artemyev（ artemirk ）テクニカルディレクター、彼は鉄で働いています。



FirstVDSには2つのデータセンターがあります。 1つ目は自分自身で、自分の建物を建て、ラックを持ってきて設置し、データセンターの現在と冷却について心配します。 2番目のデータセンターは、大規模なデータセンター内の大きな部屋であり、すべてがより使いやすくなっていますが、それも存在しています。 合計で60ラック、約3000台の鉄製サーバーです。 さまざまなアプローチを訓練し、テストするものがありました。つまり、実際に確認された推奨事項を待っています。 レポートの表示または読み取りを始めましょう。





約6〜7年前、サーバーにオペレーティングシステムを配置するだけでは不十分であることに気付きました。 OSがオンで、サーバーが起動しており、戦闘の準備ができています。 本番環境で起動します-理解できない再起動とフリーズが始まります。 何をすべきかは明確ではありません-プロセスは進行中です;作業中のドラフト全体を新しい金属片に移動するのは難しく、費用がかかり、痛みを伴います。 どこで実行しますか？



最新の展開方法では、これを回避して5秒でサーバーを輸送できますが、クライアント（特に6年前）は雲の中を飛んでおらず、地面を歩いて普通の鉄片を使用していました。







この記事では、どのメソッドを試したのか、どのルートを取得したのか、ルートを取得しなかったのか、手で実行するのが適切なのか、そしてこれらすべてを自動化する方法を説明します。 私はあなたにアドバイスをします、そして、あなたが鉄で働いて、あなたがそのような必要があるならば、あなたはあなたの会社でそれを繰り返すことができます。

問題は何ですか？

理論的には、サーバーの確認は問題ではありません。 最初は、次の図のようなプロセスがありました。 男は座って、チェックリストを取り、チェックします：プロセッサー、メモリー、ディスク、額にしわを寄せ、決定を下します。







その後、月に3台のサーバーがインストールされました。 しかし、サーバーがどんどん増えると、この人は泣き出し、職場で死にかけていると不平を言い始めます。 検証が日常的になっているため、人はますます間違えられます。



私たちは決定を下しました：自動化！ 人はもっと役に立つことをするでしょう。

短期遠足

今日サーバーについて話すときの意味を明確にします。 私たちは、他のすべての人と同様に、ラックスペースを節約し、高密度サーバーを使用します。 現在は2ユニットであり、シングルプロセッササーバーの12ノードまたはデュアルプロセッササーバーの4ノードのいずれかに適合できます。 つまり、各サーバーは4つのディスクを取得します-すべて正直に。 さらに、ラックには2つの電源があります。つまり、すべてが冗長であり、誰もが気に入っています。

鉄はどこから来たの？

鉄は、サプライヤ（通常はSupermicroとIntel）によってデータセンターに持ち込まれます。 データセンターでは、スタッフオペレーターがラック内の空きスペースにサーバーを設置し、ネットワークと電源の2つの配線を接続します。 サーバー内のBIOSを構成することもオペレーターの責任です。 つまり、キーボードを接続し、モニターし、2つのパラメーターを設定します： Restore on AC/Power Loss — [Power On]



。電源が表示されるとすぐにサーバーが常にオンになるようにします。 ノンストップで動作するはずです。 2番目のFirst boot device — [PXE]



。つまり、最初のブートデバイスをネットワークに配置します。そうしないと、すぐにディスクがあるなどの事実がないため、サーバーに到達できません。







この後、オペレーターは鉄サーバーのアカウンティングパネルを開きます。ここで、サーバーのインストールの事実を記録する必要があります。

• ラック;
• ステッカー;
• ネットワークポート
• 電源ポート
• ユニット番号。

その後、セキュリティ上の理由から、オペレータが新しいサーバーをインストールしたネットワークポートは特別な検疫VLANに移動しますが、これもDHCP、Pxe、TFtpをハングさせます。 次に、必要なすべてのユーティリティを備えたサーバーにお気に入りのLinuxがロードされ、診断プロセスが開始されます。



サーバーにはまだネットワーク上に最初の起動デバイスがあるため、実稼働に入るサーバーの場合、ポートは別のVLANに切り替わります。 別のVLANにはDHCPがありません。また、本番サーバーを誤って再インストールすることを恐れていません。 このために、個別のVLANがあります。



サーバーがインストールされ、すべては問題ありませんが、診断システムが起動しませんでした。 これは、原則として、VLANスイッチングの遅延がすべてのネットワークスイッチではない場合、VLANをすばやく切り替えるなどの事実により発生します。







次に、オペレーターは手でサーバーを再起動するタスクを受け取ります。 以前は、IPMIはありませんでした。リモートソケットを設定し、サーバーソケットのポートを修正し、ネットワーク経由でソケットを引き出し、サーバーを再起動しました。



しかし、マネージドアウトレットも常に適切に機能するとは限らないため、IPMI経由でサーバーの電源を管理するようになりました。 ただし、サーバーが新しい場合、IPMIは構成されていません。起動してボタンを押すことによってのみ再起動できます。 したがって、男が座って待機します-ライトが点灯します-実行し、ボタンを押します。 これが彼の仕事です。



その後、サーバーが起動しなかった場合は、修復のために特別なリストに入力されます。 このリストには、診断が開始されなかったサーバー、または結果が満足のいくものではなかったサーバーが含まれます。 鉄を愛する個人-毎日座って分解します-収集、外見、なぜ機能しないのか。

CPU

すべてが正常で、サーバーが起動し、テストを開始しています。 まず、最も重要な要素の1つとしてプロセッサをテストします。







最初の衝動は、ベンダーのアプリケーションを使用することでした。 ほぼすべてのIntelプロセッサがあります-サイトにアクセスし、Intel Processor Diagnostic Toolをダウンロードしました-すべて問題ありません。サーバーの稼働時間や電力消費のグラフなど、多くの興味深い情報が表示されます。



しかし、問題はIntel PTDがWindowsで動作することであり、これはもう気に入らなかった。 その中でテストを開始するには、マウスを動かして「開始」ボタンを押すだけで、テストが開始されます。 結果は画面に表示されますが、どこにでもエクスポートする方法はありません。 プロセスは自動化されていないため、これは私たちには適していません。







私たちはフォーラムを読みに行き、2つの最も簡単な方法を見つけました。

1. 永遠のループcat / dev / zero> / dev / null トップにチェックインできます-100％1つのコアが消費されます。 コアの数をカウントし、必要な数のcat / dev / zeroを実行し、必要な数のコアを掛けます。 すべてがうまくいきます！
   
   
2. ユーティリティ/ビン/ストレス 。 彼女は記憶の中にマトリックスを作り、それらを絶えずひっくり返し始めます。 すべてが順調です-プロセッサがウォームアップされ、負荷がかかります。
   
   

サーバーを実稼働状態にすると、ユーザーは戻ってきて、プロセッサーが不安定であると言います。 チェックあり-プロセッサーは不安定です。 彼らは調査を開始し、チェックに合格したサーバーを取得しましたが、バトルでクラッシュし、Linuxでデバッグカーネルをオンにして、コアダンプを収集しました。 サーバーは、再起動する前に、クラッシュする前にメモリにあったすべてをファイルにフラッシュします。







頻繁な操作のために、さまざまな最適化がプロセッサに組み込まれています。 プロセッサがサポートする最適化、たとえば浮動小数点数を操作するための最適化、マルチメディアの最適化などを反映したフラグを確認できます。 しかし、/ bin / stress、および永遠のサイクルは、1回の操作でプロセッサを焼き付けるだけで、追加の機能は使用しません。 調査の結果、組み込みフラグの1つの機能を使用しようとするとCPUがクラッシュすることがわかりました。



最初の衝動は、/ビン/ストレスを残すことでした-プロセッサを温めます。 その後、サイクルですべてのフラグを実行し、それらをプルします。 これを実装する方法、各フラグの機能を呼び出すために呼び出すコマンドについて考えながら、フォーラムを読みます。



オーバークロッカーフォーラムで、素数を検索する興味深いプロジェクトに出会いましたGreat Internet Mersenne Prime Search 。 科学者は、誰もが接続して素数を見つけることができる分散ネットワークを作成しました。 科学者は誰も信じていないため、プログラムは非常に巧妙に動作します。最初にプログラムを実行し、すでに知っている素数を計算し、その結果を知っているものと比較します。 結果が一致しない場合、プロセッサは正常に動作していません。 私たちはこのプロパティが本当に好きでした：どんなナンセンスでも、それは落ちる傾向があります。



さらに、プロジェクトの目標は、できるだけ多くの素数を見つけることです。そのため、プログラムは新しいプロセッサのプロパティに対して常に最適化され、その結果、多くのフラグがプルされます。



Mprimeには時間制限がありません。停止しなければ、永久に機能します。 30分間実行します。

 /usr/bin/timeout 30m /opt/mprime -t /bin/grep -i error /root/result.txt
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

作業が完了したら、result.txtにエラーがないことを確認し、特に/ proc / kmsgファイルのカーネルログを調べて、エラーを探します。

別の遠足

2018年1月3日に、彼らは50番目のメルセンヌ素数（2 ^p -1）を見つけました。 この数のうち、わずか2300万桁です。 ダウンロードして表示できます。 これは12 Mbのzipアーカイブです。



なぜ素数が必要なのですか？ まず、RSA暗号化では素数が使用されます。 素数が多いほど、SSHキーの信頼性が高くなります。 第二に、科学者は彼らの仮説と数学的定理をテストします、そして私たちは科学者を助けることを気にしません-それは私たちに何も費用をかけません。 Win-Winの歴史が判明しました。







だから、プロセッサは動作しています、すべてが正常です。 それがどのようなプロセッサであるかを知ることは残っています。 dmidecode -t processorを使用して、マザーボードにあるすべてのスロットと、これらのスロットにあるプロセッサを確認します。 この情報は会計システムに入力され、後で解釈されます。

キャッチ

したがって、驚くべきことに、骨折した足を見つけることができます。 / bin /ストレスと永久サイクルが機能し、Mprimeが落ちました。 彼らは長い間運転し、検索し、発見しました-下の写真の結果-すべてがここで明確です。







そのようなプロセッサは、単に起動しませんでした。 オペレーターは非常に強力で、間違ったプロセッサーを使用しましたが、配達できました。







別の美しいケース。 下の写真の黒い列はファンで、矢印は空気の流れ方を示しています。 ラジエーターはストリームの向こう側にあります。 もちろん、すべてが過熱してオフになりました。

記憶

メモリがあれば、すべてが非常に簡単です。 これらは、情報を書き込むセルであり、しばらくしてから再び読み取ります。 書き留めたものと同じままであれば、このセルは機能しています。







誰でも、あらゆるメディア、ネットワーク、さらにはフロッピーディスクから実行される、すぐれた古典的なMemtest86 +プログラムを知っています。 可能な限り多くのメモリセルをチェックするために作成されます。 占有されているセルはチェックできなくなります。 したがって、memtest86 +には、メモリを占有しないように最小サイズがあります。 残念ながら、 memtest86 +は画面に統計情報のみを表示します 。 私たちはなんとかそれを拡張しようとしましたが、それはすべて、プログラム内にネットワークスタックさえ存在しないという事実に帰着しました。 それを拡張するには、Linuxカーネルとその他すべてを持ち込む必要があります。



情報をディスクにドロップする方法をすでに知っているこのプログラムの有料版があります。 ただし、サーバーには常にディスクがあるとは限らず、これらのディスクにファイルシステムがあるとは限りません。 そして、すでにわかっているように、ネットワークドライブは接続できません。



さらに掘り下げて、同様のMemtesterプログラムを見つけました。 このプログラムは、LinuxのOSレベルで動作します。 最大のマイナスは、OS自体とMemtesterがメモリセルを占有し、これらのセルがチェックされないことです。



Memtesterは次のコマンドで開始します：memtester `cat / proc / meminfo | grep MemFree | awk '{print $ 2-1024}' 'k 5



ここでは、空きメモリの量から1 MBを引いたものを転送します。 そうしないと、Memtesterがすべてのメモリを占有し、ダウンキラーがメモリを殺してしまうためです。 このテストを5サイクル実行し、出力でOKまたは失敗したプレートがあります。

スタックアドレス	わかった
ランダム値	わかった
XORを比較する	わかった
SUBを比較	わかった
MULを比較する	わかった
DIVを比較する	わかった
ORを比較	わかった
ANDを比較	わかった

最終結果を保存し、失敗をさらに分析します。







問題の範囲を理解するために、最小のサーバーには32 GBのメモリがあり、Memtesterを使用したLinuxイメージは60 MBを占有し、メモリの2％はチェックしません 。 しかし、過去6年間の統計によると、率直に言って記憶を打ち破ったようなものはありませんでした。 これは私たちが同意する妥協であり、修正するのに費用がかかるため、私たちはそれと共に生きます。



途中で、dmidecode -tメモリも収集します。これは、マザーボード上にあるすべてのメモリバンク（通常は最大24個）を提供し、各バンクにあるサイコロを提供します。 この情報は、サーバーをアップグレードする場合に役立ちます。どこに何を追加するのか、何ストリップを取るか、どのサーバーに移動するのかがわかります。

記憶装置

6年前、すべてのディスクには回転するパンケーキが付いていました。 別の話は、すべてのディスクのリストだけをまとめることでした。 ls / dev / sdだけを見ることができるとは信じられていなかったため、いくつかの異なるアプローチがありました。 しかし、結局、ls / dev / sd *とls / dev / cciss / c0d *を見ることはやめました。 最初のケースでは、SATAデバイス、2番目のケースでは-SCSIおよびSASです。







文字通り今年、彼らはnvmeディスクの販売を開始し、nvmeリストをここに追加しました。



ディスクのリストがコンパイルされた後、そこから0バイトを読み取って、これがブロックデバイスであり、すべてが正常であることを理解しようとします。 あなたがそれを読むことができなかったなら、私たちはこれが何らかの幽霊であると信じています。



ディスクをチェックする最初のアプローチは明白でした。「ランダムデータをディスクに書き込んで速度を確認しましょう」 dd -o nocache -o direct if=/dev/urandom of=${disk}



。 原則として、パンケーキディスクは130〜150 Mb / sを出力します。 私たちは目を細め、90 MB / sがサービス可能なディスクが存在する数値であり、それより小さいものはすべて誤動作していると判断しました。



しかし、再び、ユーザーは戻ってきて、ドライブが悪いと言い始めました。 陰湿な物理学が再び私たちと冗談を言っていたことが判明しました。







角速度があり、通常、-ddを実行すると、スピンドルの近くに書き込みます。 何らかの理由でスピンドル速度が低下した場合、ディスクの端から書き込む場合よりも目立たなくなります。



検証の原則を変更する必要がありました。 次に、3つの場所でチェックします。スピンドルの近く、中央と外側です。 おそらく、それは外部からしか確認できませんが、これが歴史的に起こっている方法です。 そして、何が機能するか、触れないでください。



smartctlを使用して、ディスクの動作を確認できます。 良いドライブは次のとおりです。

• Reallocated Sectors Count = 0がありません。つまり、工場作業​​を離れたすべてのセクターです。
• 4年以上前のディスクは使用していませんが、かなり機能しています。 このプラクティスを導入する前に、7年間ディスクを使用していました。 今では、4年後にディスクが報われ、摩耗のリスクを受け入れる準備ができていないと考えています。
• 再配置されるセクターはありません（ Current_Pending_Sector = 0 ）。
• UltraDMA CRCエラーカウント= 0-これらはSATAケーブルのエラーです。 エラーがある場合は、ワイヤを変更するだけで、ディスクを変更する必要はありません。

分散SSDは一般に優れたドライブであり、高速で動作し、ノイズを発生せず、発熱しません。 優れたSSDの書き込み速度は200 MB /秒以上であると考えています。 私たちの顧客は低価格を好み、320-350 MB /秒を発行するサーバーモデルは常に私たちに届かない。



SSDの場合、smartctlも参照します。 同じ再配置、Power_On_Hours、Current_Pending_Sector。 すべてのSSDは摩耗の程度を表示でき、パラメーターMedia_Wearout_Indicatorを表示します。 寿命の5％までディスクを拭き取り、その後取り出します。 そのようなディスクは、従業員の個人的なニーズに第二の人生を見つけることがあります。 たとえば、私は最近、このようなディスクが従業員のラップトップでさらに1％消耗することを最近発見しましたが、私たちの国ではSSDキャッシュの下で約10か月で95％を使い果たします。



しかし、問題は、すべてのディスクメーカーがパラメーター名に同意しているわけではなく、たとえば、このMedia_Wearout_Indicatorが、東芝のPercent_Lifetime_Used、他のウェアレベリングカウント、他のメーカーの残存寿命のパーセント、または単に呼ばれていることです。



Crucialにはこのオプションはまったくありません。 次に、ディスクの書き換え量-「書き込まれたバイト」-このディスクにすでに書き込み済みのバイト数を考慮します。 さらに、仕様に従って、このディスクがメーカーによって何回書き換えられたかを調べようとしています。 初等数学によって、私たちは彼がどれだけ生きるかを決定します。 変更する時が来たら、変更してください。

RAID

現代の世界でお客様がまだRAIDを必要としている理由はわかりません。 人々はRAIDを購入し、そこに4つのSSDを配置します。これは、このRAID（6 Gb）よりもはるかに高速です。 彼らは何らかの指示を持ち、それを収集します。 これはほとんど不要なことだと思います。



以前は3つのメーカーがありました。Adaptec。 3ware; Intel わずらわしい3つのユーティリティがありましたが、すべての人に診断を行いました。 これでLSIが全員を買収しました-残っているユーティリティは1つだけです。



診断システムがRAIDを検出すると、論理ボリュームを個別のディスクに解析し、各ディスクの速度を測定してSmartを読み取ることができるようにします。 その後、バッテリーをチェックするためにRAIDが残ります。 誰も知らない-RAIDにはさらに2時間すべてのディスクを回転させるのに十分なバッテリーがあります。 つまり、サーバーの電源をオフにして取り外し、さらに2時間ディスクを回転させてすべての記録を完了します。

ネットワーク

ネットワークを使用すると、すべてが非常に簡単になります。データセンター内のデータ量は300 Mbit未満である必要があります。 少ない場合は、修正する必要があります。 インターフェイスのエラーも確認します。 ネットワークインターフェイスのエラーはまったく発生しないはずであり、発生している場合はすべてが不良です。







途中でBIOSとIPMIファームウェアを更新しようとしています。 すべてのBIOSが好きではないことが判明しました。 UEFIの使用方法や使用するその他の機能を知らないBIOSがまだあります。 自動的に更新しようとしますが、これは常に機能するとは限らず、すべてが非常に単純ではありません。 うまくいかない場合、その人は手で行って更新します。



IPMI Supermicroを世界に提供するのではなく、OpenVPNを介してグレーアドレスでIPMI Supermicroを使用しています。 それでも、いつの日か別の脆弱性が出て、苦しむことを恐れています。 したがって、IPMIファームウェアは常に最後に維持するようにします。 そうでない場合は、更新してください。



奇妙なことから、最近、10および40ギガビットネットワークカードのIntelにはPXEブートが含まれていないことがわかりました。 サーバーが40ギガビットカードしかないラックにある場合、ギガビットカードで起動する必要があるため、ネットワーク経由で起動することはできません。 40Gでネットワークカードを個別にフラッシュして、PXEがあり、継続して使用できるようにします。



すべてのチェックが完了すると、サーバーはすぐに販売されます。 その価格が計算され、サイトで販売されます。







合計で、1か月あたり約350のチェックを実行します。サーバーの69％は保守可能、31％は保守不可能です。 これは、私たちが豊富な歴史を持っているという事実によるものであり、一部のサーバーは10年もの間立っています。 テストに失敗したほとんどのサーバーは、ただ投げます。

好奇心が強い人のために、まだPentium IVに住んでいてどこにも行きたくない3人のクライアントがいます。 512 MBのRAMがあります。

未来が来ました！ 今日私がこのシステムをフェンスしようとしたら...







素晴らしいユーティリティHardware Lister （lshw）がリリースされました。これはカーネルと通信し、カーネル内のハードウェアの種類、カーネルが検出できるものを美しく表示できます。 これらすべてのダンスが必要なわけではありません。 繰り返しますが、このユーティリティを見て使用することを強くお勧めします。 すべてがずっとシンプルになります。

要約：

• 妥協は悪いことではなく、価格の問題です。 ソリューションが非常に高価な場合、信頼性と価格の両方が許容できるレベルを探す必要があります。
• 非コアプログラムは、テストに適している場合があります。 それらを見つけるだけです。
• 届くものすべてをテストしてください！

次の大きなHighLoad ++は 、モスクワの11月8日と9日に既にあります。 このプログラムには、有名な専門家と新しい名前、伝統的なタスクと新しいタスクが含まれます。 たとえば、DevOpsセクションでは、以下がすでに受け入れられています。

• David O'Brien（Xirus）、彼は永遠について議論します-“ メトリクス！ メトリックス！ メトリックス！ 」
  
  
• Vladimir Kolobaev（Avito）のレポートアピール「 監視-開発者へ！ コミュニティへの技術！ 利益-みんなに！ 」
  
  
• Elena Grahovac（N26）は、「 ネイティブクラウドサービスのベストプラクティス 」を紹介します 。
  
  

レポートのリストを調べて、急いで参加してください。 または、当社のニュースレターを購読すると、レポートの定期的なレビュー、新しい記事やビデオのニュースが届きます。