人工知能、課題、リスク-エンジニアの目を通して

こんにちは、同僚。 今日、私は人工知能とディープラーニングのエンジニアの目でじっくりと見たいと思っています。今では人気があり、事実を合理化し、勝ち抜く戦略を開発しています。 python / matplotlib / numpyまたはluaの実験室モデルになると、クライアントサービスの負荷の高い生産になるため、ソースデータのエラーがすべての努力を無効にするとき-それはそれほど面白くなりませんが、数秘術的な中世のエクスタシーさえ始まりますエンジニアは昼夜を問わず踊り始め、新しい混乱したペストの治癒を望んでいます）









癒しを無駄に期待しているダンスエンジニア

現代開発

原理的に現代のソフトウェア開発がどのように機能するかを思い出すことから始めることは有用です。 原則として、「前世紀」でよく研究された古典的なアルゴリズムが、検索、並べ替えなどの基礎となります。 お気に入りのDBMSは、あごひげを生やし、慎重にテストし、研究した古典的なアルゴリズムの良い例です（CoddとDateがそのようなポッピンを許してくれるかもしれません）。



アルゴリズムは、エンジニアのコミュニティによって合意されて追加されます（多くの場合、悪意のある勢力によって進められますが、だれも同意しません）-標準：ネットワーク（DNS、TCP / IP）、ファイル形式、オペレーティングシステムサービス（POSIX）など



まあ、そしてもちろん、言語。 近年、残念ながら、この分野で一種の鈍いナンセンスが始まりました：自動ゲッターとセッターが追加および削除され、タイプが自動的に入力および表示されます（これが非常に重要であるかのように）、「不思議の国のアリス」からの関数型プログラミングのアイデアが広がっています「そして、ScalaのHaskelは、RustでC ++の穴を部分的に隠そうとし、Goの形で人文科学のCを作成し、もう一度ゼロからJavaScript（ECMAScript 6）を考え出し、俳優モデルの美しさを完全に信じ続け、まったく異なるErlangを使用した爪。 この動きはすべて、理由なくではなく、俳優、不変のデータ、機能的で健康的なライフスタイル、およびカリー化と再帰的なバイナリツリーの構築という形での暗黙の倒錯の助けを借りて、おそらくクラスター内のマルチコアプロセッサとGPUでの将来のマルチスレッドプログラミングのアイデアによって支えられています。 しかし、明らかに、密接な突破口はまだまったく見えていません-論理が物理学と衝突し、すべてが人間の脳の制限、多かれ少なかれ興味深い問題を解決するコンパイラーの愚かさ、そして人々の能力に基づいて、悪意のない多くのバグを作ることを許し始めました。 エドガー・ダイクストラの声明が一新されたことで、真面目なプログラミングは賢い人向けであるように聞こえますが、ここで役立つ技術はありません。 未来の量子コンピューターは本当に私たちを助けるかもしれませんが、私たちは本当に何かを信じなければなりませんか？



一般的に、言語やバグで出血しないコードと混同しないようにするために、よく知られた手段があります-「正しく」書く... しかし、「正しい」の意味を理解するためには、多くの本を読み、「明日は10:00に数十万行のコードをシャベルでシャットダウンし、顧客を喜ばせる」モードで、たくさんの濃いコーヒーを飲み、同僚の頭の上の多くのキーボードを壊す必要があります。 しかし、このルールは機能します。 常に。





エンジニアの目を通して見た世界



ライブラリについては、もちろん、誰もが今すべてをゼロから書いているわけではありません。 これは愚かで高価です。 しかし、「外国の」ライブラリを使用すると、常に「間違った」記述が書かれているリスクがあり、現時点ではそれらに影響を与えることはほとんど不可能であり、オイルを追加します：「完成したものを手に入れて、彼らのために働きます」 そのため、もちろん誰もがLinux（OS、しかし実際にはハードウェアへのアクセスの同じ「ライブラリ」）、nginx、apache、mysql、php、標準コレクションライブラリ（java、c ++ STL）を使用しています。 残念ながら、ライブラリは、速度とドキュメントの程度、および「修正されていないエラー」の数の両方が非常に異なります。したがって、特定の才能を持ち、信頼性の高い「ラットスキン」を十分に推進されているがあまり有用ではないチームと区別することで、成功が達成されます。わずかに非標準的な負荷を伴う不透明または不適切なソリューション。



したがって、理論上および多少の努力を払えば、数学的な実証済みのアルゴリズムと、「正常」であることが証明されたプログラミング言語の十分ではあるが重大ではない破損のライブラリを使用して、非常に限られたリソースで適切なソフトウェアを短時間で実際に作成することができます。 成功の例はそれほど多くありませんが、そうです;-)





成功の例は多くありませんが、

機械学習

この分野では、主に学習アルゴリズムについて話します。 たとえば、あるビジネスが特定の「ビッグデート」を蓄積し、それを収益化し、顧客を支援したり、労働生産性を向上させたりする便利なアルゴリズムを取得したい場合。 分析的に、このタスクは直接解決するのが非常に困難または不可能である可能性があり、多くの要因を考慮し、クトゥルフに挑戦する専門家の年が必要です-そして、あなたはそれをより簡単に「ボルダー」することができるようです：データに従って「鼻」で深いニューラルネットワークをドラッグし、それを突くエラーが特定のレベルを下回っている限り（通常、テストデータセットの学習エラーと一般化エラーの2種類のエラーがチェックされることに注意してください）。 数百万以上の例があれば、深層ニューロンは人より悪くないレベルで働き始めることができ、さらに例があれば、人を凌ぐように彼女に教える希望があると考えられています。 また、例が少ない場合、ニューロンは最善を尽くして支援することができますが、人を置き換えることはできません。





R2D2内の有用なニューロン



それは美しく実用的です-「ビッグデータ」というデータがあります：顔、ニューロン、研究、そして人類を助けます。 しかし、ご存知のように、悪魔はささいなことに隠れています。

開発と機械学習への参入のしきい値/ディープラーニング

開発技術が参入レベルに応じてカテゴリーに分けられることは秘密ではありません。 最も単純で最もアクセスしやすい技術では、常に多くの人が常に存在します。多くの場合、完全に非中核の教育を受けており、そのような環境では、多くの不正確で短命で戦うライブラリがしばしば作成されます-JavaScriptとNode.js。 深く掘り下げると、多くの明白でない詳細が表示され、本物のグルが大文字で表示されることは明らかです。しかし、このエリアにショートパンツで入り、週末のバタフライネットは非常にリアルです。





若いフロントエンドJavaScript開発者。 しかし、メガの達人になるには、長い間勉強する必要があります。夏は間違いなく十分ではありません。



「平均」カテゴリには、PHP、Python、Ruby、Luaなどの動的プログラミング言語が含まれます。 ここではすべてがはるかに複雑です-より高度なOOPの概念、部分的に実装された関数型プログラミング機能、プリミティブマルチスレッドが利用できる場合があります 特別な教育を受けていなくても、1週間でストレスなく、有用なコードを見つけて作成し始めることは非常に現実的です。





動的に型指定されていないスクリプト言語のエントリのしきい値はわずかです。 夏の間、火の作り方や魚を捕まえる方法を学ぶことができます



エントリレベルの「最高」には通常、C ++、Java、C＃などの確立された産業用言語が含まれており、Scala、bash、VisualBasicのすぐ後にそれらを攻撃し始めているようです（最後の2つは冗談です）。 ここでは、非常に開発された産業用複雑性管理ツール、典型的なデータ構造とアルゴリズムの高品質ライブラリ、ドメイン方言を作成するための強力な機能、大量の高品質ドキュメント、デバッグ用の追加開発ライブラリ、プロファイリング、および優れた視覚開発環境をすでに満たします。 このカテゴリに参加して仕事をするのが最も簡単です。専門教育を受けているか、プログラミングが大好きで、数年の集中的な経験とアルゴリズムとデータ構造に関する十分な知識があります。 作業はかなり低いレベルで行われることが多く、ここではオペレーティングシステム、ネットワークプロトコルの複雑さに関する知識が重要になることがよくあります。





産業用プログラミング言語には厳しい準備が必要で、多くの場合、間違いを許しません



したがって、原則として、有用なエンジニアの初心者開発者は、ソフトウェアプロジェクトでの数か月にわたる骨の折れる作業や長年の感情的な消火と、ブレインストーミング後のボードの拭き取りによって分離されます。



しかし、機械学習では少し異なります。 多くの場合、アナリストは生まれたばかりです。 学習プロセスは、楽器を演奏することを連想させます。2〜3年のソルフェッジオ、2〜3年の青までのスケーリング、3年のオーケストラでの演奏、5年の遺体安置所と大量の汗のカット。 数学と統計の基礎、数学的分析、線形代数、微分計算、確率論を月単位で教えることは不可能です。数年かかります...そして誰もが引き抜かれて次のコースに進むわけではありません。 多くは他の部門に任せます。 科学者であることは、いくら誰が望んでも、万人向けではありません。





アナリストインターンシップ



それとも、それは吹くでしょうか？ 誰もが最初にそれを信じている：私は週末にそれを把握します！ しかし、残念ながら、プログラミングの一種の「ハローワールド」である機械学習の最も基本的な「ロジスティック回帰」がどのように機能するかを理解するには、確率論と線形代数の高等数学の少なくともいくつかのセクションを理解する必要があります。 また、「確率的勾配降下」の論理を理解するためには、その基本形であっても微分計算を知る必要があります。

生のセミラボフレームワーク

ドライブは高湿度を追加します。 市場で入手可能な人気のあるディープラーニングフレームワークは非常に未加工であるため、朝にはキーボードに実際の型が表示されます。





人気の機械学習フレームワーク。 彼らは失われていません、彼らはまだ非常に生です



理由は明らかです。 「ユニバーサル」フレームワークのパレードは、過去2015年にのみ始まりました。 ディープラーニングは、何十年にもわたる不確実性と停滞の後、2006年になって初めて自信を持って上昇しました。 GPUは、つい最近、適切な場所で適切なタイミングで突然終了しました。



残念ながら、TensorFlowはまだ生産が非常に遅く、奇妙です。Torch7は通常のドキュメントとLua言語が不足しているため、deeplearning4jはGPUを好もうとします。PythonのTheanoのような候補者は、重い薬物なしで生産を効率的に活用する方法を理解していません。 はい、ニューラルネットワークのトレーニングは一つのことであり、その動作は完全に異なっており、これは完全に異なる人々と技術によって行われるべきであるという伝説があります-しかし、現実はお金を数えます、そして、これはあなたが見ると、ひどく不便で、高価で、あまり合理的ではありません。 これまでのところ、deeplearning4jのみが最も普遍的であり、「通常の」工業用言語で特定のビジネス問題を短時間で解決することを目的としていますが、すべての結果を伴う活発な成長と成熟の段階にあります。

ビジネス上の問題を解決するためにニューラルネットワークアーキテクチャを選択する方法は？

ユニットは鳥の方言で科学的な出版物を読むことができます。マットのない率直なマタンで、ほとんどのエンジニアにとって、建築の可能性を研究する最も応用された有用な方法は、フレームワークのソースコードを掘り下げることです。さまざまなフレームワークでますます増えており、これは喜ばしいことです。



したがって、一般的なレシピは、コードの例として解決するタスクに最も適したアーキテクチャを選択し、操作に便利なフレームワークに1対1で実装し、祈りのサービスを注文することです。 「たぶんあなたはラッキーだ」とはどういう意味ですか？ そして、すべてが非常に簡単です。 次の範囲のエンジニアリングリスクが発生します。





アナリスト、主任開発者、およびプロジェクトマネージャーは、「ニューロンの減少について」の祈りサービスの準備をしています。 彼らは、多くの高原、、および極小の条件での勾配降下の挙動に対する祈りの効果に関する定理をすぐに証明すると言います。



1）ニューロンのアーキテクチャは研究者のデータとうまく機能しますが、データと「異なって」機能することも、逆に機能することもあります。

2）フレームワークには、基本的なキューブ全体が含まれていない場合があります：自動微分、微調整を伴う更新アルゴリズム（アップデーター）、高度な正則化ツール（ドロップアウトなど）、必要なエラー関数（損失）、特定のデータ操作（ベクトル積）、など それらをカウンターパートに置き換えることができますが、これはリスクをもたらします。

3）まれに、まれに生産MatlabまたはRを導入したい場合があります;-)アドバイスが1つあります-すぐに医師に相談してください。

4）ほとんどの場合、ニューラルネットワークを後で登場し、数学の理想的な世界に完全に適合しない追加のビジネス要件に合わせて調整する必要があります。 たとえば、誤検知のレベルを大幅に下げ、リコールを増やし、トレーニング時間を減らし、モデルをより大きなデータセットに適合させ、新しい情報を追加して考慮します。 そして、ここでは、原則として、ニューロンのアーキテクチャを深く掘り下げ、隠れた歯車をねじる必要があります-そして幸運のためにねじる、これはリリース日と悪夢を混乱させる方法です。 そして、教授がいなくても、1か月、2か月、6か月間、顔に混乱した表情のドライバーを座らせることができます。





何をし、何をひねりますか？ softmaxとsoftsignの違いを理解しようとするC ++開発者

こんにちはテンソル！

エンジニアにとって、テンソルは、多次元配列にすぎず、さまざまな操作や犠牲を自分で実行できます。 しかし、テンソルの操作に慣れる必要があります;-)最初の数週間は、3次元のテンソルからでも頭が痛むだけでなく、繰り返しのネットワークと畳み込みネットワークのより深い「テンソル」は言うまでもありません。 これらの低レベルの操作、テンソルの数字のデバッグ、40,000のうちの1つの値のエラーの発見のために多くの時間をつぶすことができます。このリスクを考慮してください。





注意してください！ 4次元以上のテンソルの構造を想像しようとすると、攻撃的な斜視になります

GPU機能

最初は明らかではないかもしれませんが、通常は、必要なすべてのデータ（テンソル）がGPUメモリにロードされたときにニューロンをトレーニングし、その答えを取得する方が高速です。 そして、これらの貴重でゲーマーデバイスに愛されているメモリは限られており、通常はサーバーメモリよりもはるかに少ないです。 松葉杖を作成する必要があります-RAMでのテ​​ンソルの中間キャッシング、データセットを通過する際のテンソルの部分生成（誰もが適合しない可能性があるため）などを導入します。 したがって、複雑性に影響を与えるこの重要なエンジニアリングリスクを考慮します。 タイミングは安全に3倍することができます。





ビデオカード あなたはそれで遊ぶことができるだけではないことがわかります！

生産中のニューラルネットワーク

あなたが非常に「幸運」だったと仮定し、一生懸命働いて実験室のプロトタイプを生産品質にし、Webサーバーを上げ、訓練されたニューロンをサーバーのメモリまたはGPUのメモリにロードし、すぐに応答しました。 しかし...データは変更され、モデルを変更/再トレーニングする必要があります。 ニューロンの作業の品質を絶えず監視し、特定のビジネスタスクに応じてその精度と他の多くのパラメーターを測定し、ニューロンの更新手順と再トレーニングの前に慎重に検討する必要があります。 私を信じて、マザーボードからウェブを削除するために5年に1回と10年に1回だけ最適化する必要がある古典的なDBMSの場合よりもはるかに多くの問題があります:-)



また、ニューラルネットワークを単純に再トレーニングできるという伝説もありますが、データ全体を再トレーニングする必要はありません。 実際、それは不可能ですが、誰もが本当にそれを必要とし、時には...幸運です。 データが十分に小さく、可能な限りそれらを覚えておく必要がある場合（もちろん、テストデータセットのエラーを減らすことなく）、リスクなしで重要な何かを「再トレーニング」せずに「再トレーニング」することはできません。 確率的勾配降下（SGD）は、新しいことを覚えていても、重要な古いものを忘れないという保証はありません;-)そして、大量のデータ（たとえば数百万枚の写真）があり、この特定の例を覚える必要がない場合、それは機能します（ただし、祈りのサービスは損なわれません）。

開発者、テスター、自殺

誰もが、古典的なプログラミングエラーがコード、サードパーティライブラリ、またはホルモンサージのいずれかでのみ発生する可能性がある場合、ニューロンのトレーニングおよび操作時にすべてが桁違いに複雑になることを認識しているわけではありません。



1）元のデータセットに隠された情報を取得して変更したため、すべてが不良で不正確になりました。

2）ニューラルネットワークのアーキテクチャに誤りがあり、ソースデータの変更が原因で表示されたばかりです。ヘルメットを着用し、各レイヤーの勾配と重みを調べてください。勾配の減衰はありませんか、勾配の「爆発」はありますか、重みは均等に分散され、正則化するかどうか、出力エラー関数（損失）に問題はありますか？シグモイド境界モードおよびその他の特定の活性化関数などの情報/勾配流減衰など-頭痛は長い間、そして真剣に、そしてヘルメットは美しさのためだけに提供されます。

3）あなたは幸運であり、ニューラルネットワークフレームワークに間違いを見つけました...リリースの1週間前。



上記のすべては、超鉄筋コンクリートだけでなく熱核融合を使用してクライアントサービスをプログラミングする必要があることを教えてくれます。既存のコードや存在しないコードもすべて、アサート、テスト、コメントのグリッドでカバーし、パラノイア設定を完全主義で完全に満たします。





パラノイアのチンキ、抜粋-5年

結論

エンジニアの観点から、負荷の高いサービスでのディープニューラルネットワークの実装と使用に関連する重要な事実とリスクを率直かつ正直に概説しました。結論-まだ行われていません。多くの仕事があることがわかります。この仕事は単純ではありませんが、非常に興味深く、成功はさまざまな分野の知識と人々を組み合わせて相乗効果を味わうことができる専門家にのみもたらされます。システムを完全にプログラミングして指先で感じるだけでなく、そのようなプロジェクトで数学の専門家を理解するか積極的に関与させ、同僚のために積極的で創造的な条件を作成して、簡潔で迅速なより効果的で効果的なアイデアと方法が必要になることは明らかです実装。それ以外の場合は、崩壊したGravitsapの前にドライバーを置いて数か月座って、ネジをランダムにねじって、マッチを燃やし、人工知能の力と美しさを備えた空で競合するソリューションをvy望します。エンジニアリング、ニューラルネットワーク、コンバージェンス、エネルギー、そして可能な限り微妙な間違いが収束することを願っています！く！ ;-)