ネットワーク監視：すべてのノードが大企業で機能することをどのように確認しますか

この光学系がフォレストを通過してコレクターに到達することにより、インストーラーがテクノロジーに少し準拠していなかったと結論付けることができます。 写真の台紙は、彼がおそらく船乗りであることを示唆しています-海洋の結び目。



私は、ネットワークの物理的な状態、つまり技術サポートを確保するチームから来ました 。技術サポートは、ルーターのライトが必要に応じて点滅するようにする責任があります。 全国にインフラを備えたさまざまな大企業が「翼の下」にあります。 私たちは彼らのビジネスの中に登るのではなく、私たちの仕事はネットワークが物理的なレベルで機能することであり、トラフィックはそれなりに行きます。



作業の一般的な目的は、ノードの継続的なポーリング、テレメトリの削除、テスト実行（脆弱性検索の設定の確認など）、操作性の確認、アプリケーションの監視、およびトラフィックです。 インベントリやその他の倒錯することもあります。



それがどのように構成されているか、そして旅行からのいくつかの物語についてお話しします。

いつものように

私たちのチームはモスクワのオフィスに座って、ネットワークテレメトリーを撮影します。 実際には、これらは一定のノードpingであり、腺がスマートであれば監視データを受信します。 最も一般的な状況-pingは連続して数回通過しません。 たとえば、小売ネットワークの80％のケースでは、これは停電であることが判明しているため、この写真を見て、次のことを行います。

1. 事故のために最初にプロバイダーを呼び出します
2. その後-シャットダウンについて発電所に
3. 次に、施設の誰かとの接続を確立しようとします（これは、2晩などで常に成功するとは限りません）
4. 最後に、上記が5〜10分で解決しなかった場合は、問題があれば、イジェフスクまたはウラジオストクのどこかに座っている契約エンジニアを確認するか、「アバター」を送信します。
5. 私たちは常に「アバター」と連絡を取り、インフラを通じて彼を「ガイド」します。センサーとサービスマニュアル、ペンチがあります。
6. それから、エンジニアは私たちにそれが何であったかについての写真付きのレポートを送ります。

ダイアログは時々このようなものです：

-そのため、建物4と5の間の接続はなくなります。5番目のルーターを確認します。

-注文はオンです。 接続はありません。

-OK、ケーブルに沿って4番目の建物に行きます。まだノードがあります。

-...オッパ！

-どうしたの？

-ここで4番目の家は取り壊されました。

-何？

-写真をレポートに添付します。 SLAで家を復元することはできません。







しかし、多くの場合、まだ休憩を見つけてチャンネルを復元することが判明しています。



電力の供給がシャベル、フォアマン、侵入者によって中断されたか、プロバイダーが失敗を知らないか、インストーラーが到着する前に短期的な問題が修正されるため、トリップの約60％は「搾乳」です。 ただし、ユーザーよりも早く、顧客のITサービスよりも早い段階で問題について学び、何かが起こったことに気付く前に解決策を報告す​​る場合があります。 ほとんどの場合、そのような状況は、顧客の会社での活動が少ない夜間に発生します。

誰がそれを必要とし、なぜ

原則として、大企業には独自のIT部門があり、詳細とタスクを明確に理解しています。 中規模および大規模企業では、Enikeyとネットワークエンジニアの仕事は外部委託されることがよくあります。 それは単に有益で便利です。 たとえば、ある小売業者には非常に優れたITスタッフがいますが、ルーターの交換やケーブルの追跡にはほど遠い状態です。

私たちがすること

1. チケットやパニックコールなどのアプリケーションに取り組んでいます。
2. 予防をします。
3. メンテナンスのタイミングなど、鉄のベンダーの推奨事項に従います。
4. 顧客の監視に接続し、インシデントで旅行するために顧客からデータを削除します。

モニタリングでは、多くの場合、そうではないという話があります。 または、5年前に提起されたものであり、あまり重要ではありません。 最も単純なケースでは、実際に監視がない場合、お客様にシンプルなオープンソースのロシア語Zabbixを無料で提供します。これは彼にとって有益であり、より簡単です。



最初の方法-シンプルなチェック-は、すべてのネットワークノードにpingを実行し、それらが正しく応答することを確認するマシンです。 このような実装では、顧客のネットワークを変更したり、表面的な変更を最小限にしたりする必要はありません。 原則として、非常に単純なケースでは、Zabbixをデータセンターの1つに直接配置します（残念ながら、2つはVolochaevskayaのCROCオフィスにあります）。 より複雑な場合、たとえば、独自の安全なネットワークを使用している場合、顧客のデータセンター内のマシンの1つに：







Zabbixはより困難に使用することができます。たとえば、* nixおよびwin-nodesにインストールされ、システム監視を表示するエージェントがあり、外部チェックモード（SNMPプロトコルをサポート）があります。 それでも、ビジネスで同様のものが必要な場合は、既に独自の監視を行っているか、ソリューションの機能が豊富なバージョンが選択されています。 もちろん、これはもはやオープンソースソフトウェアではなく、費用がかかりますが、平凡な正確なインベントリでさえすでにコストの約3分の1です。



私たちもこれを行いますが、これは同僚の話です。 ここでは、Infosimのスクリーンショットをいくつか送信しました。











私はアバターオペレーターなので、私の仕事について詳しく説明します。

典型的なインシデントはどのようなものか

この一般的なステータスの画面が表示される前：







この施設では、Zabbixはパーティー番号、シリアル番号、CPU負荷、デバイスの説明、インターフェースの可用性など、多くの情報を収集します。 必要な情報はすべて、このインターフェースから入手できます。



通常、通常のインシデントは、たとえば顧客の店舗（国内に200から300個の店舗があります）につながるチャネルの1つから始まります。 7年前とは異なり、小売店は現在出荷されているため、キャッシュデスクは引き続き機能します（2つのチャネル）。



電話を取り、少なくとも3つの電話をかけます：プロバイダー、発電所、その場の人に（「はい、ここに備品を積んでいました、誰かのケーブルが傷つきました...ああ、あなたの？それで、それを見つけました」）。



原則として、監視なしでは、エスカレーションの前に数時間または数日が経過します。同じバックアップチャネルが常にチェックされるとは限りません。 私たちはすぐに知り、すぐに去ります。 ping以外の追加情報（バギー鉄片のモデルなど）がある場合、すぐに訪問エンジニアに必要な部品を装備します。 さらにすでに配置されています。



2番目によくある通常の呼び出しは、ユーザーによる端末の1つ（たとえば、DECT電話またはWi-Fiルーター）の障害です。これにより、ネットワークがオフィスに分散されました。 ここでは、監視から問題について学び、ほぼすぐに詳細を含む電話をかけます。 通話によって新しいものが追加されない場合（「電話を取ります、着信音が鳴りません」）、時には非常に役立つ場合があります（「テーブルから落としました」）。 2番目のケースでは、これが明らかに高速道路の中断ではないことは明らかです。



モスクワの設備は、当社のホットリザーブ倉庫から取られています。これらのいくつかのタイプがあります。







顧客は通常、故障したコンポーネント（オフィス用のチューブ、電源、ファンなど）を頻繁に在庫しています。 モスクワにではなく、設置されていないものを配達する必要がある場合は、通常、私たちは自分で行きます（設置のため）。 例えば、私はニジニ・タギルへの夜の旅行をしました。



顧客が独自に監視している場合、顧客はデータを当社にアップロードできます。 透明性とSLA制御を提供するためだけに、Zabbixをポーリングモードで展開することもあります（これはお客様にとっても無料です）。 追加のセンサーはインストールしません（これは、生産プロセスの継続性を確保する同僚によって行われます）が、プロトコルがエキゾチックでない場合は接続できます。



一般的に、私たちは顧客のインフラストラクチャに触れず、そのままサポートします。



経験から、私たちはコストの面で非常に予測可能であるという事実のために、最後の10人の顧客が外部サポートに切り替えたと言います。 明確な予算編成、適切なケース管理、各アプリケーションのレポート、SLA、機器レポート、予防。 理想的には、もちろん、私たちは掃除機などの顧客のCIOのために来て、すべてをきれいにし、気を散らすものではありません。



注目に値するもう1つのことは、一部の大企業では在庫が実際の問題になり、その実装のために純粋に引き付けられることもあります。 さらに、構成の保管とその管理を行います。これは、さまざまな移動と再接続に便利です。 しかし、繰り返しますが、難しいケースでは、これも私ではありません-データセンターを輸送する特別なチームがあります。



そしてもう1つの重要なポイント：私たちの部門は重要なインフラストラクチャを扱っていません。 データセンター内のすべて、銀行保険会社、および小売中核システムのすべて-これはXチームです。 これらはこれらの人です。

別の練習

最新のデバイスの多くは、多くのサービス情報を提供できます。 たとえば、ネットワークプリンターは、カートリッジ内のトナーのレベルを簡単に監視できます。 事前に交換期間を数えることができ、さらに5〜10％の通知を受け取ることができます（オフィスが突然、標準のスケジュールに合わずに猛烈に印刷を開始した場合）。



非常に多くの場合、年次統計が私たちから取得され、これは同じ監視システムと私たちによって行われます。 Zabbixの場合、これは単純なコスト計画と何が起こったかを理解することであり、Infosimの場合は、1年間のスケーリング、管理者のロード、その他すべてのことを計算するための資料でもあります。 統計にはエネルギー消費があります-昨年、ほとんどすべての人が、部門間で内部費用を分散させるために、彼に尋ね始めました。



時々あなたは本当の英雄的な救いを得ます。 このような状況はまれですが、今年覚えていることから、約3泊でCiscoスイッチの温度が最大55度上昇しました。 遠くのサーバールームには、監視のない「愚かな」エアコンがあり、故障していました。 すぐに（当社ではなく）冷却エンジニアに電話をかけ、お客様の当直管理者に電話をかけました。 彼は、重要ではないサービスの一部を出し、サーバールームをサーマルショットダウンからモバイルエアコンを備えた男が到着するまで維持し、その後スタッフが修理しました。



ポリコムやその他の高価なビデオ会議機器は、会議の前にバッテリーの充電状態を非常によく監視します。これも重要です。



監視と診断は誰にとっても必要です。 原則として、経験がなくて実装するのは長く困難です。システムは非常にシンプルで事前に構成されているか、サイズの大きい航空母艦と多くの標準レポートがあります。 会社のファイルのシャープ化、社内IT部門のタスクの実装を考案し、最も必要な情報を表示します。さらに、実装経験がない場合は、ストーリー全体を最新の状態に保つことはすくいです。 監視システムを使用して、無料ソリューションとトップエンドソリューションの中間点を選択します。原則として、最も人気のある「厚い」ベンダーではなく、明らかに問題を解決します。



かつては非定型的な治療がありました 。 顧客は、ルーターをある種の個別のユニットに、さらに正確に在庫に応じて提供する必要がありました。 ルータに指定されたシリアルのモジュールがありました。 路上でルーターの準備を開始すると、このモジュールに何かが欠けていることが判明しました。 そして誰も彼を見つけることができません。 この問題は、昨年この支部で働いていたエンジニアがすでに退職しており、別の都市の孫に行ったという事実によって少し悪化しています。 私たちに連絡し、検索を依頼しました。 幸いなことに、アイロンはシリアル番号に関するレポートを提供し、Infosimはインベントリを作成しました。数分で、このモジュールがインフラストラクチャで見つかり、トポロジを説明しました。 逃亡者はケーブルで追跡されました-彼はクローゼットの別のサーバールームにいました。 運動の歴史は、彼が同様のモジュールの失敗後にそこに着いたことを示しました。





カメラに対する人々の態度を正確に説明するホタビッチに関する長編映画のショット



多くのカメラ事件。 一度に、3台のカメラが同時に故障しました。 セクションの1つでケーブルが破損しています。 インストーラーは、一連のシャーマニズムが発生した後、3台のカメラのうち2台に新しいものを波形に吹き込みました。 そして3番目はそうではありません。 さらに、彼女がどこにいるのかは明確ではありません。 私はビデオストリームを上げています-秋の直前の最後のショット-午前4時、顔にスカーフを着た3人の男性が現れ、下に明るいものがあり、カメラが大きく揺れ、落ちます。



カメラを設定したら、フェンスを登る「ノウサギ」に焦点を合わせる必要があります。 運転中、侵入者が出現するポイントをどのように指定するかを考えました。 それは役に立ちませんでした-私たちがそこにいた15分で、30人が私たちが必要なポイントでのみオブジェクトに侵入しました。 ストレートチューニングテーブル。



上記の例を既に引用したように、取り壊された建物の話は冗談ではありません。 機器へのリンクが消えたら。 所定の場所-銅が通ったパビリオンはありません。 パビリオンは取り壊され、ケーブルはなくなりました。 ルーターが死んでいることがわかりました。 インストーラーが到着し、見始めました。ノード間の距離は数キロメートルです。 彼は、セットにVipnetovskyテスターを持っています。標準は、あるコネクタから鳴り、別のコネクタから鳴りました-検索に行きました。 通常、問題はすぐに明らかになります。





ケーブルの追跡：これはコルゲーションの光学部品であり、海洋結び目に関する記事の一番上からの続きです。 ここで、最後に、完全に驚くべき設置に加えて、ケーブルがマウントから離れるという問題がありました。 ここでは、怠け者ではない全員が登り、金属構造物を緩めます。 プロレタリアートの約5,000人の代表者が光学を引き裂きました。



ある施設では、すべてのノードが約1週間に1回シャットダウンされました。 そして同時に。 かなり長い間、パターンを探していました。 インストーラーは次を見つけました。

• 問題は常に同一人物の交代で発生します。
• 非常に重いコートを着ているという点で他とは異なります。
• ハンガーの後ろに自動機が取り付けられています。
• 誰かが先史時代に戻って非常に長い時間機械の蓋を取りました。
• この仲間がオブジェクトに到着すると、彼は服を切って、自動販売機の電源を切ります。
• 彼はすぐにそれらをオンに戻します。

ある施設では、夜間に設備がオフになりました。 地元の職人が私たちの食べ物に接続し、延長コードを引き出し、そこにケトルと電気ストーブを付けたことがわかりました。 これらのデバイスが同時に動作すると、パビリオン全体がノックアウトされます。



広大な国の店舗の1つでは、シフトの閉鎖に伴いネットワーク全体が絶えず低下していました。 設置者は、すべての電力が照明ラインに供給されていることを確認しました。 店舗の天井照明がオフになると（多くのエネルギーを消費します）、すべてのネットワーク機器がオフになります。



管理人がシャベルでケーブルを破損した場合がありました。



多くの場合、引き裂かれた波形で銅だけが横たわっています。 2つのワークショップの間に一度、地元の職人は保護なしでツイストペアを投げました。



文明から離れて、従業員はしばしば「私たちの」機器で照射されていると不平を言います。 離れた場所にあるスイッチは、勤務室と同じ部屋に置くことができます。 したがって、シフトの開始時にフックまたは詐欺師によってそれらをオフにする有害な祖母に数回遭遇しました。



別の遠い街では、光学装置にモップが掛けられていました 。 彼らは壁から波形をはぎ取り、機器の留め具として使用し始めました。





この場合、明らかに栄養に問題があります。

何が「大」監視できるか

Infosimインストールを例に、より深刻なシステムの機能について簡単に説明します。1つのプラットフォームに統合された4つのソリューションがあります。

• 障害管理-障害制御とイベント相関。
• パフォーマンス管理。
• インベントリおよび自動トポロジ検出。
• 構成管理。

重要なことは、Infosimはすぐに「箱から出して」一連の機器をサポートすることです。つまり、内部交換全体を簡単に分解し、すべての技術データにアクセスできます。 ベンダーのリストは次のとおりです。CiscoSystems、Huawei、HP、AVAYA、Redback Networks、F5 Networks、Extreme Networks、Juniper、Alcatel-Lucent、Fujitsu Technology Solutions、ZyXEL、3Com、Ericsson、ZTE、ADVA Optical Networking、Nortel Networks、Nokia Siemens Networks 、Allied Telesis、RADCOM、Allot Communications、Enterasys Networks、Telco Systemsなど



別途、在庫について。 モジュールはリストを表示するだけでなく、トポロジ自体も構築します（少なくとも95％の場合は、正しく試行および取得されます）。 また、使用済みのアイドルIT機器（ネットワーク、サーバー機器など）の最新のベースを手元に置いて、時代遅れの機器（EOS / EOL）の交換を時間通りに実行することもできます。 一般に、大企業にとっては便利ですが、これのごく一部は手作業で行われます。



サンプルレポート：

• OS、ファームウェア、モデル、機器メーカーの種類ごとのレポート。
• ネットワーク内の各スイッチの空きポートの数に関するレポート/選択したメーカー/モデル/サブネットなど
• 特定の期間に新しく追加されたデバイスに関するレポート。
• プリンターのトナー残量が少ないことの通知。
• 遅延および損失に敏感なトラフィックに対する通信チャネルの適合性の評価、アクティブおよびパッシブ方式。
• 通信チャネルの品質と可用性（SLA）の監視-通信事業者の内訳を含む通信チャネルの品質に関するレポートの生成。
• 障害制御およびイベント相関機能は、根本原因分析メカニズム（管理者がルールを記述する必要なし）およびアラーム状態マシンメカニズムによって実装されます。 根本原因分析は、次の手順に基づいた、事故の根本原因の分析です。1。故障箇所の自動検出および位置特定; 2.緊急イベントの数を1つのキーに減らす。 3.障害の結果の特定-障害の原因と原因を誰が影響したか。

監視にすぐに統合されるようなものをネットワークに配置することもできます。





Stablenet-Embedded Agent（SNEA）-タバコのパックより少し大きいサイズのコンピューター。



インストールは、ATM、または可用性チェックが必要な専用ネットワークセグメントで実行されます。 彼らの助けを借りて、負荷テストが実行されます。

クラウド監視

別のインストールモデルは、クラウドのSaaSです。 1つのグローバルな顧客（ヨーロッパからシベリアまでの地理的な分布を持つ継続的な生産サイクルを持つ企業）のために作られました。



工場や完成品の倉庫を含む多数の施設。 彼らのチャネルが落ち、外国のオフィスからサポートが提供された場合、出荷の遅延が始まり、さらに損失につながりました。 すべての作業は要求に応じて行われ、インシデントの調査に多くの時間が費やされました。



私たちは彼らのために特別にモニタリングを設定し、ルーティングとアイロンの機能に従って多くのサイトでそれを終了しました。 これはすべてCROCクラウドで行われました。 彼らはプロジェクトを非常に迅速に作成し、提供しました。



結果は次のとおりです。

• ネットワークインフラストラクチャに対する制御の部分的な移行により、少なくとも50％を最適化することができました。 製造元が推奨するパラメータを超える、機器へのアクセス不能、チャネルの負荷：これらはすべて5〜10分以内に記録され、1時間以内に診断され、解消されます。
• クラウドからサービスを受け取ると、顧客はネットワーク監視システムの展開の資本コストを、サービスの月額料金の運用コストに振り替えます。これはいつでも拒否できます。

クラウドの利点は、私たちの決定において、現状のまま、彼らのネットワーク上に立ち、より客観的に起こるすべてを見ることができることです。 その時点で、ネットワーク内にいた場合、障害のノードまでしか画像を見ることができず、その背後で何が起こっていたかはわかりませんでした。

最後の数枚の写真

これが「朝のパズル」です。







そして、これは宝物を見つけました。







胸にはこれがありました：







そして最後に、最も楽しい出発について。 私はかつて小売施設に行きました。



そこでは次のことが起こりました。まず、屋根から偽の天井に滴り始めました。 それから、仮天井に湖が形成され、それが洗い流されてタイルの1つを圧搾しました。 その結果、これはすべて電気技師に急増しました。 それから私は正確に何が起こったのか正確にはわかりませんが、隣の部屋のどこかでそれが通り過ぎ、火災が始まりました。 最初に、粉末消火器が働き、次に消防士が到着し、すべてを泡で満たしました。 分解するために到着しました。 このすべての後、tsiska 2960が切断されたと言わざるを得ません-構成を取得して、修理のためにデバイスを送信することができました。



繰り返しますが、粉体システムが作動すると、1つの缶のTsiskovsky 3745がほぼ完全に粉体で満たされました。 すべてのインターフェースが詰まっています-48ポートで2つ。 その場で含める必要がありました。 私たちは最後のケースを思い出し、「ホット」な設定を削除しようと決心しました。 彼らはそれをカットしました-最初にデバイスは「pff」と言って、大量のパウダーで私たちをくしゃみました。 そして、ゴロゴロと上昇しました。