線形モデルを満たす

機械学習は地球を歩いています。 ニューラルネットワークできしむ人工知能は、ニューロンで到達することができたタスクにおいて、徐々に人々の先を行っています。 ただし、単純な線形回帰モデルを忘れてはなりません。 第一に、ニューラルネットワークを含む多くの複雑な機械学習方法が構築されているためです。 そして、第二に、しばしば適用されるビジネスタスクは、線形モデルによって簡単、迅速、効率的に解決されるためです。

そして、手始めに、ちょっとしたテスト。 線形モデルを使用して説明することは可能ですか？

-身長に対する人の体重の依存度？

-1日の異なる時間に店頭で並んでいる時間

-指数関数的成長の段階でのサイトトラフィック？

-地下鉄の駅で電車を待っている人の数の時間ダイナミクス？

-パフォーマンスに応じて、クライアントがサイトで注文しない可能性は？

ご想像のとおり、すべての質問に対する答えは「はい、できます」です。 そのため、線形モデルは一見しただけでは単純ではありません。 したがって、彼らの豊かな多様性に精通しましょう。

問題の声明

一連のM組のソースデータ（X _i 、Y _i ）が与えられるとします。ここで、

ℝ-実数のセット

ℕ-自然数のセット

MЄℕ、iЄℕ、1≤i≤M

X iЄℝd、dЄℕ、すなわち 各X _iは、長さdの実数のシーケンスです

Y iЄℝk、kЄℕ、すなわち また、各Y _iも実数のシーケンスですが、長さはkです。

Xは、独立変数（および因子またはリグレッサー）と呼ばれます。 また、Yは従属変数または説明変数と呼ばれます。



最も単純な場合、 d = k = 1 、つまり、数値のペアが与えられます。たとえば、（人の身長、人の体重）または（部品の体積、部品の重量）または（並んでいる時間、クライアントの出発のサイン）。

ほとんどの場合d> 1 、およびk = 1です 。つまり、各Yに複数のXが与えられます。たとえば、（（（growth、age）、weight）または（（昨日の販売、昨日の販売、昨日の販売）、今日の販売）または（（割り当てられたタスクの数、タスクの複雑さの合計）、従業員がもっともらしい口実の下で歩いた日数）。

Yもいくつかの値で構成され、ペア（X _i 、Y _i ）は、たとえば次のように見えることがあります-（（身体活動の期間、負荷のレベル、ボディマス指数、フィットネスのレベル）、（血中の乳酸のレベル、回復期間の長さ））。



そして、ご想像のとおり、突然予想外の仮定を立てました。YはXに依存するだけでなく、 Y = b ^T Xに線形に依存します。ここで、 bは次元^dₓkの実行列形式のモデルパラメーターです。



ただし、2つの重要な側面をすぐに思い出します。 第一に、このようなb ^T Xが厳密にYに等しい理由はありません。 結局、最初のデータを測定して（そしておそらく最もよく測定した）エラーを出してしまう可能性があります。 さらに、 Yにも影響を与えるいくつかの要因Xを見失っている可能性があります（ほぼ確実にほぼ確実です） 。 したがって、モデルではランダムエラーを考慮する必要があります。

第二に、 YがXに直接線形に直接依存するという保証はありません。 結局のところ、彼らは他の何かに依存している可能性があり、それはXに依存しています。 たとえば、 Yはb∙X ²またはb∙log Xに等しい場合があります。 そして、実際には、Yに依存する値ではなく、Y自体の依存性を厳密に求めるのです。たとえば、 log Y = b ^T Xです。



したがって、線形問題の一般化された定式化に到達します。

Y ^* = b ^T X ^* +ℇ

ここで、X ^* = f（X）、Y ^* = g（Y）、

randomは確率変数です。



fとgは非線形関数になり、結果としてYはXに非常に非線形に依存するという事実にもかかわらず、モデルはパラメーターbに関して線形のままです。 それが線形モデルと呼ばれる理由です。

しかし、これは問題の全体的な定式化ではありません

これまでのところ、 XとYのみを知っています。 確かに、これが私たちに与えられたので、私たちのメリットはそうではありません。 そして、 bとknowをどうやって知るのでしょうか？



モデルの本質は正確に係数bであることを思い出してください。 結局、私たちがこの大騒ぎを始めたのは彼らのためだけでした。 ランダムエラーwereがなければ、 bはd方程式の基本システムを解くことで簡単に計算できます。dは因子の数、つまりベクトルX _iの長さです。 つまり、初期データとして正確にd個のペア（X _i 、Y _i ）を取得するだけで十分です。各X _iは正確にd個の値で構成され、正確なモデルの準備ができています。

たとえば、ソースデータの形式（（部品サイズ、材料価格）、部品のコスト）がある場合、2つの部品だけで十分なデータで正確なコスト式を作成できます。



しかし、実際にはこれは起こりません。 私たちは幸運に恵まれず、影響要因の完全なリストを作成し、正確に測定します。 したがって、モデルの式には、回復不能なランダムエラーalwaysが常に存在します。 さらに、ほとんどの場合、これは微視的エラーではなく、無視して損傷なしで無視できます。 いいえ、あなたは彼女を考慮しなければなりません。 そして、2つの部分ではなく、数百および数千を測定して計算する必要があります。

それでもまだ存在する

ランダム性のため、モデルの望ましい係数bを簡単に計算することはできません。 したがって、 b ^* = argmin F（b | X、Y）の形式の最適化問題を解く必要があります。ここで、 Fは特定の関数（たとえば、∑（Y _i -b ^T X _i ） ²で、最小二乗法に導きますが、およびその他の機能）。



正確で正確な係数bがまだ存在することに注意してくださいが、それらはわかりません。 そして、私たちが期待できる最善の方法は、 b ^*の推定値です。これはおそらくbに近いでしょう。 さらに、機能が異なるとb ^*が異なる可能性があり、理想的なbとは異なる方法で異なります（ただし、まだわかりません）。

エラーに対処します

ランダムエラー自体では、 ℇはさらに複雑です。 私たちはそれらを知らないようで、それらから計算するものは何もありませんが、それにもかかわらず、少なくとも前述の最適化問題の正確な定式化のためにそれら（またはむしろそれらについての情報）が必要です（そうでなければそれを解決する方法？！） したがって、いくつかのパラメトリックな仮定を行う必要があります。

初期データを生成するプロセスの性質に基づいて、 prior∽℥（θ） 、つまり、ランダム変数ℇがパラメーターθのセットを持つ既知の分布described（正規分布など）によって記述されることをアプリオリに宣言するとします。

または、分布がわからない場合、その重要な特性について推測することができます。 たとえば、 E [ℇ] = 0 、つまり、エラーの数学的期待値はゼロです。 または、 D [ℇi] =σ2 = const 、つまり、すべての誤差の分散は同じで有限です。



しかし、なぜそれだけなのでしょうか？ 結局、選択した関数からargminを取得し、値bを取得するだけです。

本当に可能です。 唯一の問題は、この値の品質です。 何を取り、計算するかが明確でない場合、モデルではなく、何を理解するかがわかりません。

たとえば、 ℇにコーシー分布がある場合、OLSメソッドを使用したソリューションは無秩序で無意味な結果をもたらします。

しかし、たとえば、条件が同時に満たされる場合

-E [ℇ] = 0

-E [ℇ| X] = 0 、つまり、エラーはXに依存しません

-D [ℇi] =σ2 = const

-cov（ℇi、ℇj）= 0 、ここでi≠j

次に、最小二乗法による計算の結果として、目的のパラメーターbの推定値だけでなく、最も効果的で不偏の一貫した推定値を取得します。 そして、これはすべての側面からの定理によって非常に明確に正当化され、証明され、拘束されています。



重要な事実に注意してください。 積b ^T X ^*は完全に決定的であるため、 Y ^*は distributionと同じ分布形式を持つランダム変数である^とも言えます。 そして、モデルをE [Y ^* ] = b ^T X ^*の形に書き換えることにより、便利な結論を導き出すことができ^ます 。これは、線形モデルがY ^*値自体を予測するのではなく、その数学的な予想を意味します。 そして、最も豊富な統計ハードウェアを接続して問題を解決します。

特に、初期データを持ち、分布形式para （したがってY ^* ）に関するパラメトリックな仮定を指定して、尤度関数ℒ （b）を構築し、それを最大化できます。これは、線形モデルの構築と同等です。 言い換えれば、分布パラメーターを選択する（これらはすべて同じbである ）ため、 Yに可能な限り類似するようなランダム変数を生成する方法を学習します。 基本的に達成したこと。

さまざまな線形パターン

モデルの説明を繰り返します。

Y ^* = b ^T X ^* +ℇ

b ^* = argmin F（b | X ^* 、Y ^* ） 。

コンポーネントの形式と配置（Y ^* 、X ^* 、b ^* 、ℇ、F）を変更すると、さまざまなプロパティを持ち、さまざまなタスクに適用できるさまざまなモデルが得られます。



独立変数（ X ）の次元に従って、1因子（単変数）モデルと多因子（多変数）モデルを区別できます。

従属変数（ Y ）がスカラー値である場合、単一（単変量）モデルがあります。 従属変数が多次元、つまりベクトルで表される場合、多変量の一般モデルを取得します。



また、独立変数には、ソースデータと、繰り返されるものを含むその変換の両方を含めることができることを忘れないでください。 たとえば、入力に単一の変数Xがあり 、その変数からいくつかの要素（ [X、X ² 、X ³ ] ）を作成し、それによって奇妙に聞こえる多項式線形モデルを取得するとします。

別の優れた例は、カテゴリー変数の変換です。 たとえば、ソースデータの変数の1つは、「メトロ」、「車」、「自転車」の値を取ります。 モデルに対して、 X ^* _metro 、 X ^* _car 、 X ^* _bikeの 3つの要素がすぐに作成されます。X ^* _metro = 1 、 X _{輸送モード} = metroなどの場合。

このため、 Y = bXという形式の非常に曖昧なモデルではなく、 _{輸送モードを} Y = b ₁ X ^* _metro + b ₂ X ^* _car + b ₃ X ^* _bikeという形式の便利で柔軟なモデルに切り替えます。



従属変数には、ソースデータ（これは単純なモデルになります）とその変換の両方を含めることもできます。 さらに、変換された従属変数が分布の指数ファミリーに属する場合、いわゆる一般化線形モデル（GLM）についてすでに話している。これには、特に、正規、ロジスティック、ポアソン、指数、二項、および他の多くのモデルが含まれる。 一般化モデルは、収束パラメーター、得られた推定値の品質、および異なるタイプの汎関数の影響を証明しているため、使用するのに非常に重要で便利です。 理想的には、タスクをいくつかのGLMモデルに減らすようにしてください。



そしてここで、従属変数の性質が大きく異なる可能性があることを思い出してください。 特に、連続（重みや確率などの実数）または離散にすることができます。 後者は、整数（顧客数や日数など）またはカテゴリパラメーターであり、バイナリ（yes / no）または多項式であり、両方とも無秩序（自転車、バス、地下鉄）、および順序付け（評価 "good" "、"正常 "、"悪い "）。

当然、異なるタイプの変数には異なるモデルが必要です。 同じモデルでは、たとえ影響要因が同じであっても、顧客が去る可能性と購入量を予測することはできません。



分布が異なる可能性のあるランダムエラーを忘れないため、モデルとその構築方法に強い影響を及ぼします。 たとえば、ロジットモデルとプロビットモデルは、まったく同じ外部構造であり、同じデータを取得して、特定のXに対するイベントYの確率を予測します。 ただし、プロビットモデルのみでエラーが正規分布し、ロジットモデルではロジスティック分布があります。 当然、これらのモデルは異なる結果を与えるため、混同しないでください。

損失関数

モデルの式を整理し、最適化された関数を使用します。 また、損失関数、つまりモデルによって予測された値と実際の値の差のみを考慮すると、簡単になります。 単純な機能の典型的な例は次のとおりです。

-最小二乗：最小∑（Y _i ^* -b ^T X _i ^* ） ²

-重み付き最小二乗：min ∑ W _i （Y _i ^* -b ^T X _i ^* ） ²なので、たとえば、最近のデータに重みを追加して、過去のデータの重要性を減らすことができます。

- マハラノビス距離による一般化最小二乗：min min（Y _i ^* -b ^T X _i ^* ）TΩ ^-1 （Y _i ^* -b ^T X _i ^* ）

-Huberの関数 。これは、最小値に近い2次関数的に動作し、他の場所では線形に動作するという点で興味深いものです。

逆フーバー関数です。逆に、どこでも二次関数であり、最小値の近くで線形です。

もちろん、これは可能な機能のオプションはまったく制限されていません。 おそらく最も広いクラスは最尤汎関数です。 ランダム誤差para（したがってY ^* ）の分布に関するパラメトリックな仮定を導入すると、尤度関数を明示的に記述し、最大化関数を構築して、目的のパラメーターを計算できます。

ところで、奇妙な事実： Y ^*が正規分布している場合、最尤汎関数は実際には最小二乗汎関数と同等です。

正則化

複雑な汎関数には正則化が含まれており、通常は追加の正則化項として表されます： minℒ（b）+λℱ（b） 、ここでℒ（b）は損失関数、 ℱ（b）は正則化関数、 λは影響度を決定するパラメーターです正則化。

正則化は、モデルの複雑さを調整するように設計されており、その目標はモデルを単純化することです。 これは、特に、再訓練と戦うのに役立ち、モデルの一般化能力を高めることができます。



正則化関数の典型的な例：

1. L ¹ = ∑ | b |

LASSO正則化（最小絶対収縮および選択演算子）として知られており、名前が示すように、係数の次元を減らして、それらの一部をゼロにすることができます。 また、ソースデータが高度に相関している場合、これは非常に便利です。



2. L ² = ∑ | b | ²

リッジ正則化と呼ばれることもあり、モデルの係数の値を最小化すると同時に、ソースデータの小さな変更に対して堅牢にすることができます。 また、差別化も優れているため、モデルを分析的に計算できます。



3. L _EN =αL ¹ +（1-α）L ²

LASSOとridgeを組み合わせると、2つの世界とすべてのプラスとマイナスを組み合わせたElasticNetが得られます。



4. L _N = ∑ E [A（b、Ž）]-A（b、X） 、 Aはログパーティション関数

Ž= X +℥の形式の新しい変数を導入します。ここで、 ℥はランダム変数であり、実際に元のデータにランダムノイズを追加します。これは明らかに再トレーニングとの戦いに役立ちます。

最も単純な線形回帰では、加法性ノイズの導入はL ²正則化と同じですが、他のモデルでは、加法性ノイズは非常に興味深い結果をもたらします。 たとえば、ロジスティック回帰では、彼は本質的に1/2に近い予測に対して罰金を科します（言い換えると、カテゴリー予測を奨励し、不確実性に対して罰を科します）。



5.ドロップアウト

ニューラルネットワークで積極的に使用されているもう1つの巧妙なアプローチ。 variable = X *℥という形式の新しい変数を導入します。ここで、 ℥は長さdのランダム変数のベルヌールベクトルです。 簡単に言えば、因子Xのサブセットをランダムに選択し、それらからモデルを構築し、このランダム性にあまり依存しないモデルを選択します。

最も単純な線形回帰では、ドロップアウトは再びL ²正則化に似ています。 しかし、たとえば、ロジスティック回帰では、まれではあるが非常に特徴的な要因の影響を考慮することができます（言い換えると、非常に小さなX _ijの場合、大きな係数b _jが選択されるため、結果への影響が大きくなります。



もちろん、利用可能な正規化の種類はこれに限定されません。 線形モデルがそれ以上必要になることはほとんどありませんが。

そして今、ソリューション

機能を構築した後、そのソリューションに進むことができます。 そして、主に2つの方法があります。

-分析ソリューション

-数値解。



ONKのような単純な汎関数や、リッジ正規化を備えたONKでさえ、解析的に解くことができます。つまり、目的の係数を計算するための式を導き出すことができます。 原則として、このような決定は、たとえばSVDまたはコレスキー分解を使用して、マトリックス形式で直ちに行われます。

ただし、大量のデータがある場合、またはデータが非常にまばらな場合は、これらの場合でも反復数値法の方が適しています。



通常、分析ソリューションは一般に利用できず、数値的手法に頼らなければなりません。もちろん、ここでは、非常に多様なアルゴリズムに直面しています。

- 確率的勾配降下

- 確率的平均勾配

- 共役勾配法

-Broyden-Fletcher-Goldfarb-Shannoアルゴリズム 、および制限されたメモリL-BFGSによる変更 。

まとめると

ご覧のとおり、単純な線形モデルはまったく単純でもありません。 膨大な数の通常のビジネス上の問題は、線形モデルによってうまく解決されます。 特に、銀行や保険会社は長年にわたって積極的にそれらを使用しています。 いずれにせよ、ニューラルネットワークや他の機械学習法を扱う前に、線形回帰を注意深く研究する価値があります。これは、より複雑な分析モデルを作成するための構築ブロックであるためです。