🖼️ 👋🏼 🧔🏼 機能の選択方法 🤟🏽 ⚡️ 👖

この記事はレビューであり、いくつかのソースからの編集であり、最後に完全なリストを提供します。機能の選択は、機械学習の重要な部分です。そのため、あらゆる種類の方法をうまく処理したかったのです。情報の検索、記事の閲覧、講義の鑑賞を楽しみました。そして、これらの資料をあなたと共有したいと思います。この分野で最低限の知識を必要とし、初心者がアクセスできるように、記事を書きました。

テキスト全体を通して、私たちは教師と一緒に学ぶことについて話している。モデルをトレーニングするためのデータセットは、トレーニングセットと呼ばれます。独立変数は機能と呼ばれ、従属変数をターゲット変数と呼びます。これらの言葉は読者になじみがあると思います。

機能の選択

一般的に機能の選択が必要な理由。 2つの主な理由があります。まず、多くの機能がある場合、分類器の作業時間が増加します。最適なものを選択するためにいくつかの分類器をテストすることが目標である場合、計算に必要な時間は単純に膨大になる可能性があります。さらに、データ（トレーニングセット）がRAMに収まらなくなる可能性があるため、分類アルゴリズムを変更する必要があります。セットの1行でも収まらない場合がありますが、これはすでにまれなケースです。

主な理由はまだ2番目です。特徴の数が増えると、予測の精度が低下することがよくあります。特に、データにガベージ機能が多数ある場合（ターゲット変数との相関はほとんどありません）。この現象は過剰適合と呼ばれます。

機能選択メソッドは、フィルターメソッド、ラッパーメソッド、埋め込みメソッドの3つのカテゴリに分類されます。最初のカテゴリを「フィルタリングメソッド」、最後のカテゴリを「組み込みメソッド」と呼び、2番目のカテゴリについては適切な翻訳がありません（提案を聞きます）。

フィルタリング方法

これらは統計的手法に基づいており、原則として各機能を個別に検討します。これらは、重要度によって特徴を評価およびランク付けすることを可能にし、この特徴とターゲット変数との相関の度合いが取られます。いくつかの例を見てみましょう。

情報獲得

機能のフィルタリング方法の1つの例は、情報ゲインです。これは、情報エントロピーの概念と密接に関連しています。エントロピーの式は非常に簡単に表されます：

$H（X）=-\ sum_ {x_ {i} \ in X} p（x_ {i}）* log_ {2}（p（x_ {i}））$

ここで、p（x _i ）は変数Xが値x _iをとる確率です。私たちの条件では、この確率は、X = x _iをレコードの総数で割ったレコード（例）の数と見なされます。

この尺度の意味をよりよく理解するために、2つの簡単な例を提示できます。第一に、ワシと尾の損失が同様にありそうなコインを投げます。この場合、式で計算されるエントロピーは1になります。コインが常にイーグルを上に向けて落下する場合、エントロピーは0になります。

変数間の相関を計算するには、さらにいくつかの測定値を決定する必要があります。最初のものは、特定の条件付きエントロピーです。

$H（Y | X = x_ {i}）$

-X = x _iのレコードについてのみ計算されたエントロピーH（Y）。

相対エントロピー（条件付きエントロピー）は次のように見なされます。

$H（Y | X）= \ sum_ {x_ {i} \ in X} p（x_ {i}）* H（Y | X = x_ {i}）$

このような興味深い値はそれ自体ではありませんが、フィーチャYの通常のエントロピーとの違いです。つまり、 Xの値がわかっている場合、変数Yがどれだけ秩序立っているかを示す尺度です。または、より簡単に言えば、XとYの値の間に相関関係があり、その大きさです。これは、情報獲得の価値によって証明されます。

$IG（Y | X）= H（Y）-H（Y | X）$

IGパラメーターが大きいほど、相関が強くなります。したがって、すべての機能の情報ゲインを簡単に計算し、ターゲット変数にわずかに影響する機能を除外できます。したがって、最初に、モデルの計算時間を短縮し、次に、再訓練のリスクを軽減します。

相互情報および情報獲得との混乱

ウィキペディアでは、上記の式は相互情報量と呼ばれ、情報量ゲインは「カルバック-ライブラー距離」の同義語として使用されます。しかし、ほとんどの場合、情報の獲得と相互情報は異なる名前と同じものを使用します。したがって、これらの名前のいずれかで上記の式が発生する場合があります。私はそれに慣れているからといって、この測定情報をゲインと呼びます。

カイ二乗

カイ二乗検定と呼ばれる別の一般的な特徴フィルタリング方法を検討してください。それを理解するには、確率論からいくつかの式を思い出す必要があります。これらの最初のものは、イベントの交差（乗算）の確率の式です。つまりイベントAとBの両方が発生する確率：

$P（A \ cap B）= P（A / B）* P（B）$

ここで、P（A / B）は、Bが既に発生している場合にイベントAが発生する確率です。これらのイベントが独立している場合（一方の発生が他方の発生の確率に影響しない場合）、次のようになります。

$P（A \キャップB）= P（A）* P（B）$

この式に基づいて、イベントAとイベントBが独立していると仮定した場合、それらが同時に発生する予想確率を計算できます。そして、現実が私たちの期待とどのように異なるかを計算します。カイ二乗公式は次のようになります。

$\ chi ^ {2} = \ sum \ frac {（観測-予想）^ {2}} {予想}$

例としての使用を検討してください。特定の病気の発生に対する特定の効果の効果を調査したいとします。統計情報を含むテーブルは次のようになります。

病気
インパクト	あります	いや	合計
だった	37	13	50
なかった	17	53	70
合計	54	66	120

最初の行と最初の列の交点にあるセルは、露出した病気の数を反映しています。最初の行と2番目の列-暴露されたが、病気ではないなどの数

最初のセル（露出して病気になったセル）の期待値を計算します。

$予想= \ frac {50} {120} * \ frac {54} {120} * 120$

他のセルについても同様です。そして、式に従って、カイ2乗を計算します（この場合、29.1です）。

したがって、独立したイベントの場合、カイ2乗パラメーターはゼロ（またはそれに近い数）になります。しかし、2つの独立したイベントでこのような写真が得られる確率を正確に理解するために、もう1つの概念、つまり自由度が導入されます。次のように定義されます。

（＃variable_values1-1）*（＃variable_values_2-1）

＃variable_values1は、変数1が取ることができる値の数です（この場合、自由度= 1）。

カイ二乗値と自由度を推定するために、特別なテーブルがあります（このようなテーブル（ https://www.easycalculation.com/statistics/chisquare-table.php ））。

アルゴリズムの動作についてのアイデアを得ました。しかし、もちろん、実際には、このアルゴリズムを自分で記述する必要はなく、統計を手動で読み取る必要はありません。 Python用のscikit-learnライブラリを使用すると、実装の詳細について考える必要がなくなります。

from nltk import WordNetLemmatizer from sklearn.feature_selection import chi2 from sklearn.feature_selection import SelectKBest select = SelectKBest(chi2, k=50) X_new = select.fit_transform(train_data_features, train["sentiment"])

私の前回の記事では、カイ二乗統計を使用してNLP問題を解決することの有効性の例を見つけることができます。

mRmR

それとは別に、機能とターゲット変数の間の相関だけでなく、機能の冗長性（mRmR（最大の関連性を持つ最小の冗長性））も考慮に入れた、より複雑なフィルタリング方法について簡単に説明します。このメソッドは、次の式を最大化しようとします。

$max [\ frac {1} {S} \ sum_ {x_ {i} \ in S} IG（Y | x_ {i}）-\ frac {1} {S ^ {2}} \ sum_ {x_ {i} 、x_ {j} \ in S} IG（x_ {i} | x_ {j}）]$

ここで、最初の項は選択された特徴のセットSとターゲット変数Yの間の相関を最大化する責任があり（情報ゲイン法と同様）、2番目は特徴間の相関を最小化します。したがって、結果として得られる機能のセットは関連性があるだけでなく、このセットの機能は最小限に互いに繰り返されます。この方法では、各ステップで最適なものを選択しながら、一度に1つずつ機能がセットに追加されます。

フィルタリング方法の長所と短所

このクラスのメソッドが優れているのはなぜですか？計算コストが低く、機能の総数に線形に依存します。これらは非常に高速であり、ラッパーと埋め込みメソッドがあります。さらに、トレーニングセットの例の数を超える機能の数（他のカテゴリのメソッドが常に自慢できるものではない）を使用する場合でも、それらはうまく機能します。

彼らの欠点は何ですか？各機能を個別に検討します。このため、上位N個の最も相関する特徴を見つけることは、通常、予測の精度が最高になるサブセットを取得することを意味しません。簡単な例を考えてみましょう。

フィーチャーの配列があり、その中にX1とX2があるとします。ターゲット変数は次のようにそれらに依存します。

$Y = X_ {1} \ oplus X_ {2}$

（論理関数XOR）

真理値表は次のようになります（誰かが忘れた場合）：

X1	X2	Y
0	0	0
0	1	1
1	0	1
1	1	0

このテーブルを見て、変数X1の統計情報を含むテーブルを作成し、カイ2乗式を使用して変数Yとの相関を計算します（X2の場合も同様です）。

Y
X1	1	0	合計
1	1	1	2
0	1	1	2
合計	2	2	4

カイ2乗が0になること、つまり、フィーチャとターゲット変数の間に相関関係がないことを計算するのは簡単です。

この例は誇張されていますが、フィルタリング方法では、ターゲット変数に対するいくつかの機能の複合効果をキャッチできないことがわかります。

ラッパーメソッド

このカテゴリのメソッドの本質は、元のトレーニングセットの機能のさまざまなサブセットで分類子が起動されることです。その後、トレーニングセットで最適なパラメーターを持つ機能のサブセットが選択されます。そして、テストセットでテストされます（テストセットは、最適なサブセットを選択するプロセスに関与しません）。

このクラスのメソッドには、前方選択メソッドと後方選択機能の2つのアプローチがあります。最初のものは、空のサブセットから始まり、そこではさまざまな機能が徐々に追加されます（各ステップで最適な追加を選択するため）。 2番目のケースでは、メソッドは元の機能セットに等しいサブセットから開始し、毎回分類子を再計算して、機能を徐々に削除します。

そのような方法の1つの例は、再帰的な特徴の除去です。名前が示すように、共通プールから機能を徐々に除外するためのアルゴリズムを指します。 Pythonでは、このアルゴリズムの実装はscikit-learnライブラリにあります。この方法では、線形回帰など、機能を評価する分類子を選択する必要があります。

 from sklearn.feature_selection import RFE from sklearn.linear_model import LinearRegression data= load_data() X = data["data"] Y = data["target"] lr = LinearRegression() #select 5 the most informative features rfe = RFE(lr, 5) selector = rfe.fit(X,Y)

除外方法は機能間の関係をより適切に追跡しますが、計算コストがはるかに高くなります。ただし、すべてのラッパーメソッドは、フィルタリングメソッドよりもはるかに多くの計算を必要とします。さらに、多数の機能と小さなトレーニングセットの場合、これらの方法には再トレーニングのリスクがあります。

埋め込みメソッド

そして最後に、機能の選択と分類器のトレーニングを分離せず、モデルの計算プロセス内で選択を行う組み込みメソッド。さらに、これらのアルゴリズムは、ラッパーメソッドよりも少ない計算を必要とします（ただし、フィルタリングメソッドよりも多く）。

このカテゴリの主な方法は、正則化です。それにはさまざまな種類がありますが、基本的な原則は一般的です。正則化なしで分類器の作業を考慮する場合、トレーニングセットのすべてのポイントの予測に最適に調整されるようなモデルを構築することになります。

たとえば、分類アルゴリズムが線形回帰の場合、特徴とターゲット変数間の依存関係を近似する多項式の係数が選択されます。標準誤差（ RMSE ）は、選択した係数の品質の評価として使用されます。つまりパラメータは、実際のポイントから分類器によって予測されたポイントの合計偏差（より正確には、偏差の合計平方）が最小になるように選択されます。

正則化の考え方は、エラーだけでなく、使用される変数の数も最小限に抑えるアルゴリズムを構築することです。

Tikhonov正則化法（リッジ回帰）

線形回帰の例で同じことを見てみましょう。テストセットで特徴Aのマトリックスとターゲット変数bのベクトルが与えられた場合、Ax = bの形式の解を探しています。アルゴリズムの動作中、次の式は最小化されます。

$\左\ | Ax-y \右\ | ^ {2} + \ alpha \左\ | x \右\ | ^ {2}$

ここで、最初の項は単なる二乗平均平方根誤差であり、2番目の項は正則化演算子（すべての係数の平方和にアルファを掛けたもの）です。アルゴリズムの動作中、係数のサイズは対応する変数の重要性に比例し、エラーの除去に最も貢献しないものはほぼゼロになります。

アルファパラメータについてのいくつかの言葉。総量に対する正則化演算子の寄与をカスタマイズできます。これを使用して、優先度（モデルの精度または使用する変数の最小数）を指定できます。

Tikhonov正則化で線形回帰を使用する場合は、車輪を再発明する必要はありません。 scikit-learnライブラリには、このタイプの正則化を含むRidge回帰と呼ばれるモデルがあります。

 from sklearn.linear_model import Ridge data= load_data() X = data["data"] y = data["target"] clf = Ridge(alpha=1.0) clf.fit(X, y)

アルファパラメータを手動で調整できることに注意してください。

なげなわ

正則化演算子の違いを除いて、前のものと同様です。これは二乗の合計ではなく、係数のモジュラスの合計です。わずかな違いにもかかわらず、プロパティは異なります。尾根にある場合、アルファが大きくなると、すべての係数の値はゼロに近くなりますが、通常はまだ消えません。 LASSOでは、アルファが増加すると、ますます多くの係数がゼロになり、モデルへの寄与が完全に停止します。したがって、実際に選択できる機能はたくさんあります。重要な機能は係数をゼロ以外に保ち、重要でない機能はリセットされます。これらのプロパティについて詳しく聞いて、たとえばこの講義のグラフを見てください（そして、これについては詳しく説明しませんが、Elastic Netについて学びます）。

scikit-learnライブラリでこのメソッドを使用することも、前のメソッドと同じです。 RidgeのみがLassoに置き換えられます。

したがって、正規化は、モデルの過度の複雑さに対する一種のペナルティであり、機能間に不要なものがある場合に過学習から身を守ることができます。正則化は線形モデルでのみ発生すると考えるべきではありません。ブースティングおよびニューラルネットワークには独自の正則化方法があります。

正則化のマイナスのうち、モデルが特徴の配列全体に基づいて構築されているという事実に注目することができます。つまり、分類器の作業を加速しません。しかし、一般的な場合、このメソッドはフィルタリングメソッドよりも変数の相互依存性をより適切にキャッチできます。

結論として

特定の状況でいずれかの方法を選択するための基準についての結論は書きません。ほとんどの場合、組み込みのメソッドを使用するのが最も簡単で便利です。可視性が必要な場合-フィルタリングメソッドで提供できます。残りは練習の問題だと思います。

私はコメントを聞いてうれしいです。あなたの意見で、テキストに不正確さがある場合、何かが欠けている場合、何かが理解できない場合、実際の観察を共有したい場合は、書きます。

参照資料

stats.stackexchange.com/questions/13389/information-gain-mutual-information-and-related-measures

www.coursera.org/course/mmds

www.cs.binghamton.edu/~lyu/publications/Gulgezen-etal09ECML.pdf

habrahabr.ru/company/mailru/blog/254897

machinelearningmastery.com/an-introduction-to-feature-selection

ocw.jhsph.edu/courses/fundepiii/pdfs/lecture17.pdf

blog.datadive.net/selecting-good-features-part-iv-stability-selection-rfe-and-everything-side-by-side

ai.stanford.edu/~ronnyk/wrappersPrint.pdf

www.math.kent.edu/~reichel/publications/modtikh.pdf

scikit-learn.org/stable/modules/linear_model.html

機能の選択方法