Webサーバー上のコンテンツを監視するセンサー

必要なWebページへの更新の「より安価な」監視を反映して、彼は「センサー」の概念を策定しました。 以前に参考文献に出会ったことがないので、ここで公開しています。



コンセプトの本質は、Webサーバーソフトウェアの特別な改良にあります。 着信HTTP要求を「監視」し、サーバーの応答を「リッスン」する特定のソフトウェアモジュールを作成して接続します。 各要求（httpヘッダーの情報に基づいて、要求されたリソースの一意の識別子で構成できます）は、応答（md5アルゴリズムなどを使用して処理できる）サーバーに関連付ける必要があります。 次のステップでは、このペアは、Webサーバーによってすでに蓄積されているリソースのメタ記述のデータベースで検索されます。 変更が検出された場合、すぐに（またはWebサーバーのアンロード時に）検出された変更のメタ記述をメインのパブリックサーバーに送信することをお勧めします（たとえば、メタ情報がパラメーターとしてエンコードされるGET要求を使用して）。 したがって、実際には（技術的な実践で使用されるさまざまなセンサーとの類推は明らかです）、モジュールを「センサー」と呼ぶことにしました。 そして、公開サーバーから既に、ページまたは他のコンテンツリソースの更新に関する情報を、要求に応じて、または他の方法で「消費者」が取得できます。 その考えは明確だと思います。



この概念は、彼の論文で比較的長い間（2005年）概説されています。 確かに、論文の重点は、ウェブサイトを監視するプロセスをモデル化するシステムの作成にあったため、センサーの概念は実際には議論されませんでした。 今、仕事をせずに座っている間、私は研究にhabro-communityを付けることにし、興味深い（当時は興味のある人に連絡できなかった）応答を得たいと思っています。 議論に参加してくれてありがとう！



PS：私のシミュレーション実験では、従来の監視システム（検索エンジンロボットなど）よりもセンサーに基づく監視システムの効率（「鮮度」と「トラフィックの節約」の観点から最適性を読む）が示されました。