登録とSMSなしで生産性を無料で向上させる方法

こんにちは、Habr！ 私はサンクトペテルブルクのEMC開発センターでインターンとして働いており、将来のキャリアを築くためのいくつかのヒントを学生に提供するとともに、会社で行っているタスクについて説明したいと考えています。 今年、私の決定の1つとして、センターの最高のインターンとしてブライトインターンシップ賞を受賞しました。達成した結果についてのフィードバックを受け取りたいと思っています。 この記事は、システムパフォーマンスのテストに携わっている人にとって興味深いものです。

少しの歌詞（または、恐れることをやめてインターンシップを得た方法）

私がEMCと知り合ったという話は、情報技術分野の若手求職者向けのIT展示会（ビットバイト）への旅行から始まりました。 私はすべての企業スタンドを通過し、非常に疑わしいリーフレットを何十枚も記入し、いくつかの名刺を取りました。 すぐに専門分野での経験を積み始め、その報酬を受け取りたい場合、キャリアを始める場所についてはあまり考えません。



多くの企業は、IT市場での位置、製品、顧客などを知っている学生が訪問していると主張しています。 しかし、私の個人的な経験に基づいて、これはそうではないと言うことができます。 学生の90％は、特定の空席のテキストを変更することなく、複数の企業のすべての職位に履歴書を送信するだけです。 私も例外ではありませんでした。家に着いたとき、私は自分の名刺にあるすべての電子メールアドレスに履歴書を送りました。 毎月、何百人もの人々がフィードバック付きの手紙を送り、数十人がインタビューに招待され、雇われている人はごくわずかであるように思えました。 これにより、ニュースレターでできるだけ多くの企業を取り上げて、雇用される可能性を高めることができます。 翌日、私はすでにさまざまなテスト課題を解決し、1週間後、いくつかのインタビューに招待されました。



EMCを初めて訪れた後、拒否されました。 これにより、2番目のインタビューをより真剣に受け止めました。 インタビューで尋ねられた質問はこの記事の範囲を超えており、これら2つの会議は完全に異なっていたとしか言えません。 そのうちの1つにはアルゴリズムの問​​題が与えられ、もう1つには一般的なITの展望に関する多くの質問がありました。



EMCに雇用されたとき、3年目の学部課程を終えていました。 それから、今こそ、多くのことを学ぶことができる専門家のチームで、実際のプロジェクトに挑戦する時だということを完全に理解しました。 産業開発の世界で私の出発点となったのはEMCでした。 そして1年半後、これは始めるのに最適な場所であると安全に言うことができます。



インターンシッププログラムでは、最初のタスクの提供、タスクの実装のプロンプトと監視、それらの解決方法の選択などを行うのは、あなたが割り当てられたメンターに大きく依存します。 この特定の人があなたのインタビューを行うならば、大きなプラス。 多くの経験豊富な開発者は、専門的な知識、スキル、能力に加えて、精神やその他の純粋に個人的な資質に近い学生インターンを探していると思います。 将来の成果のために私に大きな可能性を与えたのは、そのような創造的な組合でした。 今、私はメンターと非常に幸運だったと自信を持って言うことができます。



大企業でのチームワークの特別な第一印象は思い出せません。 私は、従業員がこのレベルの企業で働く条件をよく知っていました。 Habrは、Google、Yahoo、Amazon、およびその他の企業に移った開発者のレビューで溢れています。海外生活のすべての詳細と色を持っています。 むしろ、私は自分の専門分野で働く機会があったという事実に単に満足していました。 はい、ここの雰囲気は大学の壁の中で支配している雰囲気とは非常に異なっており、何が起こっているのかについての斬新で無知な気持ちがありました。

性能評価エントリー

会社での私の仕事は、EMC PowerPath製品のパフォーマンスの最適化に関連しています。 一般的に、FC、iSCSI、およびFCoEベースのストレージネットワークでのパス使用率を最適化して、情報への予測可能でスケーラブルで一貫したアクセスを提供するのは、SANのサーバーベースのソフトウェアです。 このソフトウェアは、すべてのデータ伝送チャネルの効率的な使用を提供し、異種オペレーティングシステム用のいくつかの個別のパス管理ソリューションの必要性を排除します。



最適化は常にソフトウェア開発の多くの側面に影響を与えます。製品の機能を十分に理解し、テストし、実行するアクションを自動化できる必要があります。 最初は、製品のロジックを掘り下げるのは十分に困難でした。既存のコードに適応するプロセスには、かなり長い時間がかかりました。 Perl、さまざまなオペレーティングシステムのプロファイリングツール、シェル、標準のWindowsおよびUnixユーティリティをすばやく習得する必要がありました。



この特定の場合、テストは有限のテストセットでプログラムの動作を動的に検証することで構成され、プログラム自体は「ブラックボックス」として表示されます。 この場合、テストはアプリケーション領域で通常実行されるアクションから選択され、システムの予想される動作へのコンプライアンスの検証を提供します。 多くの場合、ソフトウェアパッケージを開発するとき、2つの問題のいずれかに直面する必要があります。 開発した製品の品質が最小要件を下回っているか、またはテストコストがすべての合理的な制限を超えています。 さまざまな環境でプログラムの動作をテストするコストを削減するには、このプロセスを可能な限り自動化する必要があります。



EMC Bright Internship Awardを受賞したのは、テスト自動化ツールEMC PowerPathとOSに組み込まれたマルチパスシステムの作成でした。 このパフォーマンステストへのアプローチにより、問題（ボトルネック）を特定することで製品のパフォーマンスが大幅に向上し、そのソリューションによりパフォーマンスが大幅に向上しました（特に、AIXプラットフォーム（> 30％））。 結論として、基本的なOSユーティリティのスループットの測定は、取得した計算を、サブシステムのさまざまな物理およびソフトウェアコンポーネントで展開されたEMCのソフトウェア製品の結果と比較するために実行されます。 これは、不必要な時間コストなしで自動化され、統合されています。 必要なのは、あらゆるオペレーティングシステム（AIX、ESXi、RHEL、WS）で自動化をテストするためのアプリケーションの可能性に関して非常に効率的で普遍的であり、そのアプリケーションに大きな人件費を必要としない複合体でした。 次に、それをどのように行ったかについてお話します。

何がされた

最初に、データ生成用ソフトウェア（I / Oベンチマーク）を定義しましょう-これは、単一およびクラスターシステムの両方で、ディスクおよびネットワークサブシステムの総合テストを実行できるアプリケーションです。 これは、実験室での研究およびトラブルシューティングの基本ツールとして使用できます。 テストパターンを設定することにより、多くの一般的なアプリケーションから負荷を再現する（動作をシミュレートする）ように簡単に構成できます。



製品で使用されるバランシングメカニズムをテストするために、そのパフォーマンスを評価する観点から、データブロックの生成にIometer、Iorate、およびVdbenchの3つの異なるソフトウェア製品を使用します。 それらの比較特性を表に示します。

役職	YaP	オープンソース	対応OS	ランダムデータブロック生成
ロメーター	C ++	はい	Windows、Linux、Solaris、Netware	いや
ロレート	C	はい	AIX、HP-UX、HP-US、Solaris zLinux、Linux	いや
Vdbench	Java	はい	すべての主要な	はい

EMC Corporationは、重複排除テクノロジーをサポートするストレージシステムを製造しているため、重要なパラメーターの1つは、ランダムデータブロックを生成する機能です。 このようなストレージシステムは、複製ブロックへの参照（たとえば、それぞれ4 KB）のみを保存します。これは、ブロック全体を書き込むよりもはるかに高速です。 これに基づいて、一部のストレージシステムの重複データのロードでは、適切なパフォーマンス結果を得ることができません。その場合、Vdbenchが使用されます。



データ生成用のプログラムを実行するには、構成ファイルを入力に送信する必要があります。このファイルには、今後の開始のすべてのパラメーターが記述されます。 ストレージのパフォーマンスとデータパス間の負荷分散をテストするには、2種類のテストを使用します。

• UIO（Uniformed I / O）-固定データサイズでのテスト。各テストは1つのパターンのみに基づいています。
• DBSIM（データベースSIMulation）-OLTPなどの実際のビジネスシステムの動作をエミュレートするために、特定の比率で異なるパターンを混合することに基づいたテスト。 このアプローチでは、さまざまなサイズのブロックが順番に送信されます。

パターンは、データブロックのすべてのパラメーターを記述するために使用されるパターンです。 各テストは、パーセンテージで指定された1つ以上のパターンで構成されます。 このパターンには次のパラメーターがあります。

• データブロックサイズ。
• ％読み取り/書き込み;
• ％ランダム/シーケンシャルI / O、ブロックの読み取りまたは書き込み時のディスクアクセスモデル。 ディスクアクセスのシーケンシャルモデルでは、ランダムアクセスが含まれないため、書き込みと読み取りがはるかに高速になります。

ランダムアクセス時間-ハードドライブが読み取り/書き込みヘッドを磁気ディスクの任意のセクションに配置する操作を実行する平均時間。 磁気記録の原理に基づくデバイスにのみ関連します。



上記の説明として、パフォーマンステストのUIOテストを表に示します。

テスト名	サイズ、バイト	読書率	％ランダムモデル
4K_Seq_Read_Only	4096	100	0
64K_Rand_Write_Only	65536	0	100
256K_Rand_Read_50	262144	50	100

構成ファイル（または複数）を使用してデータを生成するためのソフトウェアを起動した結果、テストの種類ごとに特定の定量結果が得られます。



パターンに加えて、各テストにはいくつかの基本的な特性があり、そのいくつかは不可欠です。

• 実行時間-取得したすべての計算結果が最終結果に影響する時間。 通常は数秒で測定されます。
• ウォームアップ時間-計算結果が最終結果に含まれないウォームアップ時間。 秒単位で測定されます。
• 一時停止時間-テスト間のアイドル時間。 秒単位で測定されます。
• IOレート-最大のデータ転送レート。1秒あたりの読み取り/書き込み操作（IOPS）で測定され、デフォルトでは制限なし。

これらのパラメーターの値は構成ファイルに入力され、起動時に変更されません。

Iometer、Iorate、Vdbenchの3つのプログラムはそれぞれ、1つ以上の出力ファイルを生成します。これらのファイルには、さらなる分析に役立つ情報に加えて、起動に関するさまざまなセカンダリデータが含まれます。 したがって、データを抽出して目的の統一フォーマットに変換するには、受信したファイルを解析できるスクリプトを開発する必要があります。



ロードバランサーの現在の状態に関する視覚情報を取得するプロセスを自動化するには、さまざまなオペレーティングシステムとさまざまなデータジェネレーターから取得したテスト結果を統合する必要があります。 これを行うには、このジェネレーターがサポートするすべてのプラットフォームで実行できる特別なスクリプトを開発する必要があります。



これらのスクリプトは、結果ファイルの生成に加えて、実行された操作と現在のシステム構成を記録するために、テストプロセスを完全に制御する必要があります。 また、スクリプトは負荷分散ポリシーを変更し、デバイスの可用性と可用性を確認できる必要があります。

研究用の実験室構成

研究用の「研究室」の組織について詳しく見てみましょう。

標準システム構成

ホスト側：

IBM独自のホストを備えたAIXを除き、Dell PowerEdge R710物理マシンが使用されます。

メモリ：11898Mb RAM

プロセッサー：Intel Xeon CPU E5530 @ 2.40GHz

CPU：2394.172 MHz

キャッシュサイズ：8192 KB

2つの物理ソケット、8つの物理コア、8つのハイパースレッディングコアを備えています。



テストケースに応じた残りのホスト設定：

OS：ESXi、RHEL、Windows Server、AIX

コアの数：4/8/16

論理ユニット：4/8/16

論理ユニットサイズ：5GB（最大IOPSの場合は小さいディスク）

LUごとのスレッド：4 LUの場合は64、8 LUの場合は32、16 LUの場合は8、16LUの場合は4



ストレージ側：

EMC XtremIO、1 X-Brick構成

EMC Symmetrix VMAX

EMC VNX



SAN：

専用FCスイッチ、8 Gbファイバーチャネルポート

FCアダプターの数に関する工場出荷時のデフォルト設定

ジャミング設定





テストの妨害設定は、SANのボトルネックをシミュレートするために使用されます。 具体的には、この図ではWindows Server OSを使用していますが、実際には任意のものを使用できます。 システムは2つのホストを使用します。1つはPowerPathがプリインストールされており（MPIO）、パフォーマンスの計算が実行されます。 もう一方はストレスが多いです。 各サーバーは、異なるSANを介してストレージに接続されます。 赤はデータへのロードされたパスを示し、緑-無料です。



適応PowerPathポリシーは、パスの負荷の程度を決定し、空きの負荷を再配分できるようにします。 このような構成により、お客様の実際のラボでよく発生する可能性のある条件を作成できます（特定のパスが失敗する、文盲の構成、複数のサーバー上の1つの一般的なSANなど）。 ネイティブマルチパスが最も遅いパスの速度で機能し、PowerPathが大幅に高いIOPSを示す条件。



結果は、Gnuplotプログラムを使用して作成されたグラフの形式で表示されます。 独自のコマンドシステムがあり、コマンドラインモードで動作し、ファイルから読み取ったスクリプトを実行できます。 Gnuplotは、さまざまなグラフィック形式（コマンドモード）のファイル形式でグラフィックを保存し、画面に表示することができます。



この図は、構成からさらに評価される結果の取得まで、自動テストを実行するための完全なスキームを示しています。

テスト構成

テスト構成について詳しく説明します。 テストシナリオを開始する際の重要なパラメーターは、開始回数です。 多くの場合、PowerPathおよびNMPをテストする場合、取得したパフォーマンス値が平均値から逸脱し、パーセンテージで表されるという問題があります。 この作業では、許容偏差として5％以下の値を取ることにしました。 すべての開始の平均値からの広がりが設定バーを超える場合、スループットを評価することはできません。そのようなテストでは、さらに分析とリプレイが必要です。



例として、実際のDBSIMテストの結果を以下に示します。 ヒストグラムを作成するために、入力時に特別なスクリプトが生成されたGnuplotが使用されました。 結果のイメージを構築するためのすべての機能は、Perlで作成されました。 企業秘密のため、この自動化オブジェクトの実装の詳細については説明できません。







y軸は、特定のトリガーの平均からの偏差（％）を表します。 x軸に注目すると、PowerPathまたはNMP（Native Multipathing）（組み込みのバランサー）のどのバージョンがこれらの結果に属しているかがわかります。 グラフは、一部のテストでは5％を超える偏差を持つ起動があり、一部はこの値に近いことを明確に示しています。 このようなテストには、さらに調査が必要です。



偏差自体は、主に特定のストレージシステムの物理的およびソフトウェア実装に関連しています。 さらに、ディスクからのデータの送受信を制御する多数のストリームの存在が原因である可能性があります。 このような現象はストレージシステムではまったく発生せず、実際にはIOジェネレーターから独立しています。 開始回数に加えて、次のパラメーターは最終結果の客観性に影響します。

• ランタイム（ランタイム）;
• ウォームアップ時間。
• ダウンタイム（一時停止時間）。

テスト結果の品質と関連性を確保するために、膨大な分析作業が行われました。 結果のデータに大きなばらつきがある構成では、テストは長い実行時間で実行され、スループット値は10秒の頻度でログに保存されました。 結果の統計分析を使用して、特定の構成でのさまざまな時間間隔と特定のテストの開始回数を正しく選択できます。 これらの間隔を合計して、任意の期間の時間間隔を取得できます。 このような合計に基づいて、相対標準偏差（RSDまたは変動係数とも呼ばれる相対標準偏差）が計算されます。これは、データの均一性を特徴付けるものであり、貴重な統計特性です。 変動係数の値により、母集団の特性の変動の程度を判断できます。 その値が大きいほど、平均値に比べてばらつきが大きくなり、その組成の凝集物の均一性が低くなり、平均値の代表性が低くなります。 変動係数（1）は、算術平均（4）に対する標準偏差（2）の比率で、パーセンテージで表されます。 次に、標準偏差は分散の根として見つけることができます（3）。 Nは、独立した試行の数です。





ヒストグラムを作成する際に注意を払った平均値からの偏差とは対照的に、RSDでは、値の絶対値に対する相対的な符号とその値の分散を最も正確に表すことができます（絶対値ではなく相対指標）。 ここで、特定のテストの時間間隔を選択し、そのようなすべての間隔のRSD値が5％以下であれば許容できると考えます。







時間間隔の計算と再分配の後、テストを繰り返し、同じPerlスクリプトを使用してグラフをプロットします。 平均からの偏差は著しく減少し、テスト結果はソフトウェアパフォーマンスの実際の状況を最も正確に反映し始めました。

結果として

完了した作業を要約するには：

• ロードバランサーのパフォーマンスのテストを自動化するこのような実装により、最終テスト結果を可能な限り迅速に取得できます。これは、OSベンダーがサポートするソリューションと比較した製品の現在の生産性を明確に反映します。
• 特定のプラットフォームの製品開発者は、以前のバージョンと比較したパフォーマンスの改善/低下の程度を定量化できます。
• 最終結果にばらつきがある構成では、分析作業を実施して、結果を大幅に安定させました。

私自身にとって、開発された製品の高速で透過的な統一された自動テストにより、製品を非常に高速に開発できると結論付けることができます。 特に、このアプローチにより、AIXでのEMC PowerPathのパフォーマンスを30％以上向上させることができました。

学生のための別れの言葉

専門分野での経験は他の何よりも大切なので、あなたの専門分野でのキャリアの開始を遅らせないようにアドバイスしたいと思います。 大学の終わりには、科学出版物、一般知識、および平均的な成績に加えて、知識の実践および「戦闘」使用に関連する経験を持つことが望ましい。 そして、関連するスキルを持つスペシャリストとして高く評価され、実際のプロジェクトに参加して利益を生み出すことができます。