内部をご覧ください：Microsoft Outlook 2013 Attachments Reminder

当社の仕事は、Microsoft OutlookとExchange Serverの開発に関連しているため、それらを掘り下げたいと思っています。 今日は、Microsoft Outlookの小さな新機能、忘れられた添付ファイルのリマインダーを掘ります。 それは簡単だと思われるでしょうか？ 英語での「発掘調査」のテキストは、会社のブログで公開しています。ロシア語では、Habr専用です。 行こう！



バージョン2013以降、ユーザーはMicrosoft Outlookで忘れられた添付ファイルの自動リマインダーを有効にできます。







メールを送信すると、この場合、次の警告が表示される場合があります。







歌詞で少し遊んだ後、あなたはそれを見つけるかもしれません：

• 英語のみがサポートされています（残りは後で追加される可能性があります）。
• 「キーワード」キーワードにタイプミスがあった場合、リマインダーはありません（正確には、Microsoft Outlookは「ATACHMENT」という単語だけを知っています）。
• すべての「あなたの」キーワードがシステムとして考慮されるわけではありません。
• アルゴリズムは単純ではありませんが、明らかに完全ではありません。

今後、辞書とアルゴリズムはハードコーディングされているため、キーワードや例外を修正または追加することはできません。 できることは、この機能をオンまたはオフにすることだけです。



新しい機能を試してみると、質問があります。 なぜシステムは手紙の本文の「写真を見る」または「gifを見る」に応答しますが、「写真を見る」または「pdfを見る」には応答しないのですか？ うわー、システムは「添付ファイルなし」に反応せず、「添付ファイルなし」に反応しました。 どのように配置されていますか？

仕組み

このアルゴリズムは、Microsoft OfficeフォルダーにあるMSFAD.DLLライブラリ（2013年11月1日付のファイルバージョンを調査しました）に実装されています。 このライブラリには、メッセージの件名と本文を伝えるHasAttachments関数のみが含まれています。 応答として、関数は決定を返します-ユーザーに警告するかどうか。 ライブラリのサイズは300キロバイトを超えています。 1行で別の行を見つけるには多すぎます。 以前は、300キロバイトの巨大なプログラムが適していました。 彼女は本当にキーワードのテキストをチェックする以外に何もしませんか？



しかし、これは事実です。 ライブラリ内の86キロバイトは、テキストの分析に直接関連するデータです。 ただし、16進エディタを使用している場合でも、ライブラリの本文にキーワードは表示されません。 辞書は圧縮形式で保存され、約650個のキーワードが含まれています。 しかし、デコードされた形式であっても、単語が5キロバイトをわずかに超える場合、さらに80キロバイトを必要としますか？



答えは、ライブラリのコードで見つけることができる関数の名前を思い付くかもしれません：ChunkGrammarRule、ChunkGrammarLevel、CompoundAnalyzer、StringAnalyzer、TemplateLexiconBasedStringAnalyzer、FlatLexiconStringAnalyzer、MorphLayerStringAnalyzer、ScriptStringAnapezer 80キロバイト、これは自然言語処理システムのデータです！



これがスコープです！ ほぼ人工知能！ しかし、このタスクでは適切ですか？

他の方法

添付ファイルを忘れた場合のリマインダーは、15年前からMicrosoft Outlookの多くのプラグインを表示できました。 たとえば、Outlook用MAPILab Toolboxの「スイスナイフ」には「添付ファイルを忘れる」コンポーネントがあり、その設定が画像に表示されています。







とても簡単に機能します。 文字にサブストリングがありました-警告を取得します。 自然言語の分析はありません。「欺く」ためには、可能な限り簡単です。



それでも、そのシンプルさにもかかわらず、非常に効果的に機能します。 さらに、あなたの文章スタイルと使用する言語に合わせてトレーニングすることができます。 請求書をメールで頻繁に送信する場合、2回クリックするだけで、MAPILab Toolboxに「請求書を見る」というフレーズに応答するように指示します。 しかし、クールな自然言語アナライザーであるMicrosoft Outlook 2013は、「請求書を見る」というフレーズには反応せず、文章のスタイルを学習することはありません。 独学はありません。

ボンネットの下をより深く見ます

最初はMicrosoft Outlookの新機能に非常に興味をそそられ、感銘を受けましたが、実際のテストの後、少しがっかりしました。



文字の空の本文に示されている場合、警告を引き起こす「強力な」単語があります。 添付ファイル、添付ファイル、添付ファイル、FYI、添付ファイル、再添付ファイル、エンクロージャー、エンクロージャー、エンクロージャーの9つのみです。 これらの単語の一部は、短い文では非常にうまく機能するフレーズを形成します。 たとえば、「WHUSGD YODJHHW IS ATTACHED」というフレーズが機能します。 しかし、これはまだMAPILab Toolboxアルゴリズムと大差ありません。 また、10の単語を知っており、さらに10のフレーズを教えることができます。



自然言語分析に移りましょう。 「彼は非常に古い女性に執着しました」というフレーズはトリガーされません。 しかし、「彼らは単一家族の家の付属ガレージで火災を発見しました」というフレーズがトリガーされます。 語彙が限られているアナライザーの場合、これらのフレーズは「* *に非常に結び付けられました」および「*のA * *に見つかりました」（アスタリスクはアナライザーが知らない単語です）のように見えます。 アナライザーは、明らかに、「非常に接続されている」と「接続されている」を区別できました。 ここでは、アナライザーが構文の良い仕事をしており、セマンティクスがそれに依存していないことがわかります。 650語の辞書では不十分です。



では、ATTACHMENTに関連する言葉から離れて、アナライザーがどのように処理するかを見てみましょう。 「ファイルを送信します」というまったく正しくないフレーズは、たとえファイルが他の類似の単語に置き換えられても、応答を引き起こしません。 しかし、「ファイルを送信しています」というフレーズは機能します。 アナライザーは英語を非常によく知っているので、どこかで記事を読み飛ばすと、明らかなフレーズでさえもトリガーしなくなることが多いことに注意してください。



辞書では、多くの単語に同じセマンティックコードが割り当てられます。 たとえば、コントラクト、ドキュメント、エクセル、ファイル、フォーム、写真、履歴書、スプレッドシート、ワークブックなどの単語は同じです。 したがって、最後のフレーズのFILEをこれらの単語に置き換えても、何の影響もありません。 しかし、辞書は限られているため、何が代用すべきかを簡単に見つけることができるため、応答がありません。 「請求書を送付しています」または「非開示契約を送付しています」というフレーズは機能しません。

辞書を見てみましょう

次の図では、辞書の5分の1以上がセマンティックコードでソートされています（CODE、その絶対値は何にも影響しません）。 辞書の始まり、中間、終わりを取りました：







辞書は、私たちの意見では、解決される問題のために小さいです。 辞書の半分は、文の解析に必要な単語で構成されています。 後半は、添付ファイルとしてメールで送信できる内容と密接に関連しています。 同時に、電子添付ファイルに関連する最も人気のある単語のみが辞書に入力されました。 辞書には、HOME、GIRL、CAR、WORLD、PEACEなどの単語はまったくありません。 したがって、「ATTACHED GARAGE」と「ATTACHED STATEMENT」は、アナライザーにとってまったく同じ不明なフレーズです。



アナライザーでは、1次（無害なフレーズに反応する）と2次の誤検出（「このメールに重要な添付ファイルが含まれる」などのトリガーを伴わない）の両方で、非常に多くの誤検出が可能です。



使用されているアルゴリズムとキーワードのプリミティブ検索を比較すると、それらの結果は非常に類似しています。 なぜマイクロソフトはそのような難しいパスを選択し、それほど優先順位の低いタスクのために1000倍以上のコードを書いたのですか？

Googleのせいですか？

添付ファイルのリマインダーは2010年にGmailに登場しました（それ以前は2年間Gmail Labsに参加していました）。 同様の機能が1年後にHotMail（現在のOutlook.com）に登場しました。 二人の巨人の間の競争は、小さなことでも明らかです。 また、Googleが「シンプル」なことをすれば、Microsoftは冷静に笑顔で甘やかします。



2009年に、ドイツの1つの工科大学が、 「欠落している電子メールの添付ファイルを認識する学習」というタイトルの記事を公開しました。 「スマート」な添付ファイルリマインダーを作成するというアイデアをMicrosoftに置いたのはおそらく彼女だったのでしょう。 Microsoftには膨大な文字のデータベースがあり、この技術の結果はOutlook.Com、Microsoft Outlook、そしておそらくモバイルアプリケーションでも使用できます。



添付ファイルリマインダーがMicrosoft Outlook 2013および一般的なオンラインサービスのテストフレーズでどのように機能したかを示します（はい-警告がありました、緑-システムが間違っていませんでした）。







このミニテストによると、使用したアルゴリズムを自信を持って述べることはできません。 ただし、Gmailが静的キーワードの基本的な方法を使用していると合理的に仮定できます。 セマンティクスと構文に関係なく、「I HAVE ATTACHED」および「IS ATTACHED」というフレーズで確実に機能します。 Outlook.comもこの方法で動作しますが、Gmailよりも多くのキーフレーズで動作します。 どうやら、Microsoft Outlook 2013で使用されている高度な技術はまだ到達していません。



そして、Microsoft Outlook 2013のみがテキストの解析の試みを示しています。 しかし、常に成功するとは限りません。 そして、付属のミニテストでは、彼は自信を持ってリーダーになりませんでした。 辞書が（時々）増加するため、おそらく、アルゴリズムの品質を大幅に改善することが可能です。



しかし、実際の適用に関しては、ユーザーを設定する機能を備えた静的キーワードの方法は、電子通信のスピーチや単語の略語がよく使用されるため、プロの専門用語では、いくつかのコンテキストで通信が実行されるため、全文分析が難しいため、最も優れた保護を提供する可能性が最も高くなります。



しかし、いずれにせよ、Microsoftはクールで珍しいものを作成しました。 数年後にはどうなるか見てみましょう！ また、更新KB2883094の一部としてリリースされた2014年7月16日にリリースされたMSFAD.DLLのバージョンも調べました（執筆時点で利用可能な最新版）。 新しいバージョンでは、解析用の辞書とデータは変更されておらず、アルゴリズムも変更されていません。 それは単なるバグ修正でした。 したがって、明らかに、マイクロソフトは最近添付ファイルリマインダーに積極的に取り組んでいないようです。 そして、実際の更新はすぐに待たなければなりません。