NagiosとTelegramの例でメッセンジャーを使用してプロジェクトを監視し、Highload 24x7の寿命からのfakapsの分析

図：マルガリータ・ザキエバ





カットの下にあるもの：

• Telegramと組み合わせた基本的なNagios設定。
• 同僚とのプロジェクト監視の一般的な概念。
• このシステムを使用して作業を進めたレーキの分析。

私たちの記事は次のような人に役立ちます。

• 彼の現在の監視の有益性に不満。
• 毎日の腰痛を経験し、問題に関する警告を発します。

この記事は 「Telegram Bot API 」 に関するものではありません

APIのパブリックリリースの1か月前に議論されるバンドルのセットアップを開始したため、最初からLinux用Telegram CLIを使用して監視サーバーからアラームを送信していました。 この記事は、主にこの特定のコンソールクライアントに焦点を当てています。 記事の最後で、ボットの世界からの革新を支持して放棄した理由を詳細に説明しました。

私たちは誰で何をするのか

私たちは友好的な「運用」チームであり、数十台のサーバーを管理する必要があります。これらはコロケーションを含め、VPSサーバーと「鉄」サーバーの両方であり、世界中に散らばっています。 正確かつ効果的な監視が最優先事項です。

一般的な概念

眠らないで監視を監視す​​ることが義務付けられている州の人々はいませんが、「左」のSIMカードに1つのアカウントが登録されています。

---

• Nagiosインスタンス -これは通知の送信の実装とは関係ありません。複数のNagiosを同時に使用すると、すべてが問題なく機能することを強調したいだけです。

Fakap No. 0-監視を監視しない

遅かれ早かれ、監視も中断される可能性があるという事実に出くわすことになり、週末後の月曜日ではなく、すぐにそれについて知りたいと思うでしょう。 同時に、一部のサービスを「内部から」チェックし、他のサービス、たとえば、HTTPを介したサイトの応答のステータスを「外部」にチェックすることは論理的です。 「1石で2羽の鳥を殺す」には、別のプロバイダーからNagiosをもう1つセットアップし、必要なチェックを2つのモニター間で分散します。check_nagiosチェックを 1つのインスタンスから別のインスタンスに設定し、 逆にミラーリングすることを忘れないでください。 私たちだけでなく、あなたにとっても、異なる国の2つのプロバイダーが同時に倒れることはありそうもないシナリオです。

---

• サービスの設定済み通知 -ここでのキーポイントは、メッセンジャーで最も重要な通知のみを設定することです。ほとんどの場合、最も重要なホストの最も重要なメトリックのクリティカル通知になります。 残りは、たとえば、WARNINGまたはサンドボックスホストは、この記事で説明されているスキーム以外のメッセージを送信するように構成されています。 これは、たとえば、メールまたは同じ電報内のロボットを使用した「個人」です。

Fakap No. 1-サービスが自動的に修正された後、すぐに待機したり消えたりする可能性のあるアラームと同じチャットで問題を修正するために、システムへの即時介入が必要な通知を送信します。

これを行うと、チャットを見るすべての人はすぐに完全に注意を払うことを完全に停止します。特に、偽陽性のために午前4時に目を覚まさなければならない場合です。 逆の状況は、夜間に重要なWebサーバーのログの監視を完全にシャットダウンすることです。 これを行う必要はありません。非常に重要な情報が夜間に忍び込んでいる可能性が常にあり、日中に整理する必要があります。十分な対策は、そのようなメッセージをメールに送信することであり、勤務時間中に読むことができます。 分割して支配します。

---

• システム管理者 、監視の毎日の「監視」を交互に開始します。監視は1日23:00から23:00まで続きます。 勤務中の管理者は、Nagiosからのクリティカルアラームのデフォルトの宛先として設定されているチャネルの通知を有効にする（または無効にしない）必要があります。

Fakap No. 2-「誰が最初に目にしたのか」という原則に関する通知に応答する

あなたが任務役員を任命しなかった場合、ある夜誰も目を覚ましませんし、朝には誰も罪を犯しません。 勤務中にモバイルデバイスで夜間に1つの通知をオーバースリープしないようにするには、下の図に示すように通知を設定することをお勧めします。

---

• 予約チャンネル 。 アイデアは単純です。30分以内に特定の障害に誰も応答しなかった場合、監視は通常のチャットから「緊急」チャットに自動的に切り替わります。以前のチャットと同様に、すべての管理者がいます。 その違いは、誰もそれを無視することができないという事実にあり、通知はすべてのユーザーに対して常にオンでなければなりません。 また、管理者だけでなく、たとえばディレクターと別のチャットを行うこともできます。これは、サービスが1時間動作しておらず、監視する仕事をしている人が監視に応答しない場合に使用できます。 技術的な観点からそれらがどのように実装されるかは、この記事の最後にあります。

Fakap No. 3-義務のみに依存します。

苦い経験から、インターネットアクセスが自宅の勤務システム管理者から切断されると同時にDCで事故が発生する可能性があることがわかりました。 誰もがモバイルインターネットを持っているという事実にもかかわらず、デフォルトでは、誰もが自宅のWi-Fiに接続されたスマートフォンを持ち、グローバルWebにアクセスできないという事実は彼を悩ませません。 ただし、よりシンプルで線形のライフシナリオのため、管理者は利用できない場合があります。

---

• テーマチャンネル 。 システム管理者は、たとえばアプリケーションログのエラーやデータベースの特定のデッドロックなど、監視によって検出されたすべての誤動作を完全に排除できます。 「システム管理者を起こして開発者のバックエンドを起こす」という概念は間違っているように思われるため、これらの通知の下では、「テーマ」チャネルが個別に作成され、システム管理者ではなく他の専門家が責任を負います。

Fakap No. 4-ロボットから作業の議論が行われるチャットルームに通知を送信します。

このようにすると、問題にもっと注意を向け、より早く解決できるように思われるかもしれませんが、実際にはそうではありません。 必要に応じて、問題の説明を含むメッセージを特別なチャンネルから実際にチャットに送信してください。

例として、「バックアップ」チャネルと1つのテーマ専用データベースを含むスクリーンショットを示します。

---

簡単な要約：上記の契約が採用された後、システム管理者は作業しやすくなりました。 これにより、スマートフォンからの通知に気を取られることが少なくなり、会社のインフラストラクチャの改善に労働時間を費やす方法を学ぶことができました。 管理者の睡眠の質は向上し、「トップ」は、会社にとって重要なサービスのダウンタイムを伴う夜間のファカプの存在を心配しなくなり、その評判は損なわれます。

Nagios通知をTelegramに送信します。

コンソールクライアントのインストールと最初の起動

配布キットのリポジトリ（たとえば、CentOSのRPMfusionリポジトリ）またはインターネット上の既製パッケージでtelegram-cliを見つけた場合でも、この手順は多くの* nixシステムのプロジェクトのgithubページで直接詳細に説明されているため、 自分で「コンパイルおよびコンパイル」することを強くお勧めします 。



バイナリのコンパイルが成功したら、ログイン「telegramd」を使用してシステムにユーザーを作成する必要があります。これにより、クライアントの最初の起動後に、認証を確認した後にクライアントがサービスファイルを保存するシステムにディレクトリ/home/telegramd/.telegram-cliが作成されますたとえば、ファイルは、Telegramサーバーから秘密鍵を受け取りました。







そして、あなたは手にSIMカードを備えた電話を持っており、これにTelegramを登録します。また、コンピューター上で監視機能を備えたサーバーコンソールが開いています。

adduser telegramd # --disabled-login ./bin/telegram-cli -k tg-server.pub
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、私たちが知る限り、電話番号で「 contact_list 」に誰かを追加できます-これは、ユーザーを「連絡先」に移動させ、その後Nagiosから通知を送信する唯一の方法です。 これは、コンソールまたはTelegram Web-versionを含む他のクライアントから実行できます 。もちろん、使用したのと同じ電話番号で以前ログインしたことがあります。 「ロボット」側の一般的なチャットまたはチャンネルにメッセージを送信するには、何もする必要はありません。「チャンネル」にメッセージを送信する場合は、彼が管理者であることを確認してください。

 add_contact +79991112233 My Contact quit
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

アラートを送信するためのクライアントの構成

カスタマイズされたコンソールクライアントがあり、そこに通知を送信するための連絡先が1つあります。 使いやすくするために、これをbashのスクリプトでラップします。

Nagiosから通知を送信する

コマンドの説明は、Jabberのクラシックテンプレートに基づいています。 メッセージMONITORING_NAMEはメッセージ本文で使用されるため、メッセージ本文のハッシュタグになります。これは便利です。

最後に、Telegram自体を監視します

私たちにとって、監視はインフラストラクチャ全体で最も重要かつ重要なものであり、通知はその主要コンポーネントの1つであるため、次のメトリックを使用してtelegram-cli自体を監視する必要があります。

1. クライアントを毎分起動し、連絡先のリストを要求します。その後、クライアントからの終了コードを確認します。すべてが正常であれば、常にゼロになります。 （別のbashスクリプトとして行われます。このようなチェックの独自の実装を書くのに問題はないと思います）
2. メッセージ送信ログに「FAIL」を含む行がないことを確認します。この特定のキーワードは、通知の送信時に問題が発生したことを示します。 （このチェックにはcheck_logfilesを使用します）
3. telegram-cliインスタンスがフリーズせず、このプロセスのインスタンスがシステムに表示されないことを確認します。これにより、サーバーがRAMなしのままになる傾向があります。 （標準のcheck_procsはこのような監視に最適です）

---

Fakap No. 5-Telegramに通知を送信するためにローカルエージェントを監視しないでください。

この人気のメッセンジャーをNagiosを搭載したサーバーで使用し始めてすぐに、 Telegramが破損する可能性があり 、数時間、部分的には数日間さえも予告なしに放置されることが判明しました。 監視がTelegramを介した通知の送信で問題を検出した場合、これは電子メールで報告されます。

---

クラウドの公式APIではなく、ローカルの非公式クライアントが使用されるのはなぜですか？

1. telegram-cliは定期的に更新されるため、安定して動作し、必要なすべての機能を備えています。

2.たとえば、 Bot Api 2.0のリリース中に、APIを監視する必要がありますが、通常のクライアントが正常に機能している間に障害が通知されました。

3.ロボットとの通信を使用せず、その助けを借りて監視を制御しないため、現在のソリューションに満足しています。 それは動作します-触れないでください。

監視と連動した非公開の機会電報

ログのエラーによってトリガーされた場合、作業中のコンピューターの電源を入れずに問題部分を非難したり、次のクリティカルアラームの隣に問題の範囲を示す美しいグラフを表示したりすることがよくあります。たとえば、すぐに同僚に転送します。

もちろん、画像やその他の種類のドキュメントをTelegramに送信することは標準であるため、そのような監視の可能性は想像力によってのみ制限されます。

たとえば、「バックアップ」チャネルのメカニズムを実装する方法を次に示します。ここでは、理解しやすいようにコードの簡略バージョンを示します。



チャネル予約メカニズムを担当する、以前に約束されたソフトウェア部分。



あなたのプロジェクトを監視し、同僚にすばらしいアップタイムを送ってください。