フィーチャーエンジニアリング、オンラインコースで言及されていないもの

ThatsWhatSheSaydによるシャーロック

偉大な探偵になるために、シャーロック・ホームズは、他の人が目に見えないもので見なかったことに気付くのに十分でした。 すべての機械学習の専門家にもこの品質が必要だと思います。 しかし、Feature Engineeringのテーマは、多くの場合、機械学習とデータ分析コースでひと目でわかります。 この記事では、属性を処理した経験を初心者のデータセンティストと共有したいと思います。 これが、彼らが最初の課題を解決する上で、より迅速に成功を収めることに役立つことを願っています。 この部分のフレームワーク内で、概念的な処理方法が考慮されることをすぐに予約します。 この資料の実用的な部分は、私の同僚のOsina_Anyaによってまもなく公開されます。

機械学習の一般的なデータソースの1つはログです。 ログのほとんどすべての行に時間があります。Webサービスの場合は、IPとUserAgentがあります。 このデータからどのような兆候を抽出できるかを検討してください。

時間

UnixTimestamp

UnixTimestampは、1970-01-01 00：00：00.000から経過した秒数で、一般的な時間の表現であり、自然数です。 この形式でモデルに時間を追加できますが、このアプローチは回帰問題でよく機能します。 イベントのシーケンスに関する情報のみがUnixTimestamp形式で保存され、モデルは曜日、月、時間などについて何も知らないため、分類タスクではめったに機能しません。

年、月、日、時間、分、秒、曜日

多くの場合、時間は自然数のセットの形式でモデルに追加されます。年、月など、必要な詳細に別々に追加されます。 たとえば、2017-09-08 12：07：12.997は、2017、09、08、12、07の5つのサインに変換できます。また、バイナリサインを追加することもできます：休日かどうか、時間帯、勤務時間かどうかなど。など。このような機能のセットが成功すると、ほとんどの場合、高品質で問題を解決できます。 時々、OneHotEncoding Creationメソッドは数か月/数年間機能しますが、これは練習よりもエキゾチックです。

サークル表示

多くの場合、個々のコンポーネントのセットとして時間を表すだけで十分ですが、1つの弱点があり、追加機能の追加が必要になる場合があります。

現在の時間に従って、人が携帯電話を取り上げた理由を判断する-音を消すか、アラームを設定するというタスクがあるとします。 さらに、履歴データから、人が23.00から01.00にアラームを設定し、07.00から21.00にアラームをオフにすることがわかります。 ロジスティック回帰によって問題の解決を開始する場合、次の図の分割面を構築する必要があります。

明らかに、彼女はこれを行うことができません。そのような時間の見方は、23.00と01.00が非常に近いイベントであるという情報を失います。 この場合、2次記号を追加できますが、より良い方法があります！ このような問題を解決するには、次のテクニックが役立ちます。サイクルで変化することがわかっているサインを取ります。 たとえば、「時間」-0から23に変わります。そして、cos（「時間」 2 pi / 24）、sin（「時間」 2 pi / 24）の2つの記号に変換します。中心が0で直径が1の単位円のサイクル要素。

非常に多くのポイントについて、ロジスティック回帰は簡単に分割面を見つけ、人がアラームを設定するのに役立ちます。 曜日、月、ピストンサイクルなどでも同じことができます。理論的には、この方法はフーリエ級数展開を使用してより複雑な周期関数に補間できますが、そのような場合は発生しません。

IPアドレス

IPについて一言

一見、IPアドレスは重要な兆候ですが、それをどうするかは完全に理解できません。 現在最も一般的なバリアントはIPV4です。これは、伝統的に「255.0.0.1」と記述されている4バイトのシーケンスです。 これらの番号またはすべてのIPを数字記号のように使用することは絶対に正しくありません。 2つのIPアドレス（123.123.123.123と124.123.123.123）がある場合、これらの番号の近接はまったく意味がありません（最初はChina Unicom Beijing省ネットワーク、2番目はBeam Telecom Pvt Ltdです）。 IPをサブネット化を使用するカテゴリーと見なすのは正しいでしょうが、大規模なサービスにはそのようなカテゴリーが多数あります。 たとえば、第3レベルのサブネット上のカテゴリを考慮すると、2 ^ 24-〜10 ^ 16になります。 1600万を超える属性を持つモデルをトレーニングするには、大量のデータが本当に必要であり、ほとんどの場合、不要なノイズが発生します。

https://xkcd.com/742/

ジオロケーション

実際、ネットワークからよりもはるかに多くの情報がIPから取得されます。 そのため、国、地域、場合によってはサービスのユーザーがいた都市までもがIPアドレスから正確に抽出されます。 これを行うには、次を使用できます。

1. 現在豊富なオープンGeoIPデータベースは、その多くが無料のAPIを提供しています。 主なことは、それらを過負荷にしないことです（1分あたり100-1000リクエスト以下）。 大量のデータが必要な場合は、MindMaxなどの企業から定期的に更新されるデータベースを購入できます。
2. WhoIsサービス。多くのIPアドレスの所有者に関する公開情報（一般ユーザーの場合、プロバイダーに関する）を公開します。 このデータを取得するには、 https： //www.nic.ru/whois/などのWhoIsサービスの1つ、またはPythonパッケージを使用できます 。 たとえば、携帯電話のIPアドレスは176.59.41.95になりました。 WhoIsサービスは、IPがRussian Tele2に属していることを示しています。 どのIPでも同じ操作を行ってその国を調べることができますが、IPアドレスの所有者について提供される情報の量はケースごとに異なります。 さらに、特別なIPアドレスがあることを忘れないでください 。 ここでそれらについて読むことができます 。

同様のサービスからIPについて取得したデータを慎重に処理します。 データは時々古くなったり、時にはエラーが発生したりします。同じIPを持つ1人のオペレーターからモスクワとウラジオストクを出ることが多いため、モバイル通信オペレーターのIPアドレスは一般に大きな問題です。 したがって、ログに記載されているイベントが発生した時点でデータベースのバージョンがなくなっている可能性があるため、サインの収集時ではなく、受信時にログにこれらの追加フィールドを作成することをお勧めします。 アプローチのプラス：ロシアで出会ったIPがヨーロッパに移動した、またはその逆の事実を追跡できます。 ただし、これらの注意事項がある場合でも、この関数はデータ分析に非常に役立ち、モデルの品質を大幅に向上させることができます。

このアイテムの追記

サービスが十分に大きい場合は、GeoIPデータベースを自分で収集できます。 ユーザーがサイト/アプリケーションにジオロケーションへのアクセスを提供すると、特定のIPアドレスの場所に関する情報を自動的に受け取ります。 地理的位置が広く、地理的に広いIPアドレスを使用した場合の対処方法を理解する必要があるのはあなただけです。 さらに、この手法を使用すると、ユーザーがどこから来たのかを推測できます。自宅から、職場から、外出中です。

IPアドレスの清浄度

データ分析のために、ボット、検索ロボット、および同様の「悪霊」のアクションから実際のユーザーのアクションをフィルタリングする価値がある場合があります。 元の定式化では、このタスクは非常に複雑で、スパム対策や詐欺対策などの多くの分野で使用されています。 しかし、データをフィルタリングするタスクについては、IPによるフィルタリングというより単純な方法で十分な場合があります。 そのため、インターネット上で、詐欺やdDoS攻撃が頻繁に実行されるIPアドレス、tor-exitnode IPアドレス（ボットはサービスへの頻繁なリクエストに対してIPブロッキングをバイパスするために使用することが多い）およびオープンプロキシのIPアドレスのオープンリストを見つけることができます-servers（同じ目的で使用される場合があります）。 そのため、「これらのデータベースのIPアドレス」フラグを特徴ベクトルに追加できます。 さらに、履歴データによると、ログのこの行のIPアドレスと同じプロバイダーを満たす可能性を考慮することができます。 この確率は兆候にもなり得ます。彼だけがハイパーパラメーターを持っています。確率を計算するためにストーリーをどこまで見るかです。 これは重要です。ユーザーの分布と、その結果として、サービス上のユーザープロバイダーの分布が変化しているためです。

「悪意のある」ユーザーのフィルタリングの問題に戻ると、私は注意してください。標準的な方法は、信頼できるブラックリストに表示されるIPアドレスからログをフィルタリングすることです。 同時に、それらを開始したユーザーは、信頼できるアクションを最近実行したユーザーのリストに属していません。 良いユーザーでさえ時々Torやプロキシに目を向けるので、これらの条件はどちらも同様に重要ですが、良いユーザーアカウントはハッキングされる可能性があります。 したがって、彼を実在の人物として特徴付ける行動は、最近発生しなければなりません。

ユーザーエージェント

UserAgentについて少し

HTTPプロトコルについて話している場合、リクエストヘッダーでサーバーにリクエストを送信するソフトウェアは、ソフトウェアバージョンとオペレーティングシステムに関する情報を含むUser-Agentフィールドを渡します。 このヘッダーフィールドは、多くの場合、モバイルバージョンのサイトまたはJSを使用しないサイトバージョンにリダイレクトします。 ブラウザのバージョンとオペレーティングシステムに加えて、UserAgentには他の有用な情報が含まれている場合がありますが、取得が難しい場合があります。 実際、User-Agent文字列には承認された単一の形式はなく、誰もが必要に応じて情報を書き込みます。 UserAgent行からブラウザとオペレーティングシステムを抽出できるさまざまなライブラリがあり、好みに応じて選択できます。 個人的には、 https://github.com/ua-parserが好きです。

OS、ソフトウェア、何が難しいですか？

ブラウザとオペレーティングシステムは、デバイスの種類に関係なく、OneHotEncodingを使用してカテゴリ機能として追加できます。 このためだけに、ブラウザとオペレーティングシステムを注意深く見る必要があります。 ただし、UserAgentを使用すると、WebKitを使用して、検索ボット、Pythonスクリプト、プログラム、およびカスタムブラウザービルドを識別できます。 この多数の可能性によってのみ、多数の問題が発生します。 UserAgent文字列には何でも書き込むことができ、マルウェア開発者はそれを使用します。サーバーでは、すべてが一般ユーザーがコンピューターにChromeブラウザーとWindows 10を持っているように見えます。 したがって、UserAgentからのデータに非常に注意し、ブラウザのバージョン統計の異常に注意する必要があります。 その中で、非常に古いバージョンのクロムが後者よりもはるかに人気があることに気付くか、古いアンドロイドからの「フラッシュ」を見ることができます。 さらに、IPの場合と同様に、周波数分析が役立ちます。 ほとんどの場合、ロボット開発者は、対象ユーザーからのブラウザの分布を知らず、インターネットユーザー間のUserAgentの分布でデータベースからUserAgentを取得します。データベースは、地理やサービスの対象ユーザーなどと一致せず、古くなる可能性があります。このデータを使用しない理由。 これは、それらをより詳しく見て、さらに有用な情報を抽出する機会です。

おわりに

特性評価は、データ分析の重要なステップです。 多くの場合、初心者のデータセンティストは、複雑なモデルの分類、多層ニューラルネットワークの構築、問題の解決が可能な場合のさまざまなアルゴリズムのアンサンブルの作成を開始し、ロジスティック回帰に適切な兆候を慎重に追加します。 トレーニングコースではめったに考慮されないが、実際の作業でよく見られるデータについて話しました。 この情報がお役に立てば幸いです。

ご清聴ありがとうございました-そして幸運を！