データサイエンスの初心者から見た「できる列車！」または「機械学習とデータ分析の専門化」

データサイエンスをゼロから教えることに関する前回の記事の前に、Courseraの機械学習とデータ分析の専門分野にサインアップし、データサイエンスの分野のほぼ絶対的な初心者がこの知識を利用できるという印象を共有することを約束しました。 すぐに言ってやった！ もちろん、これと同様の専門分野についてはすでにHabréで言及されていますが、私の「5セント」は痛くないと思います。



記事のタイトルと写真の有名な映画からの引用は偶然に撮られたものではありません。いくつかの場所では、この専門化は私にほとんど身体的な痛みを与えたようで、すべてをやめたいという巨大な欲求がありましたが、最終的には関心が勝ちました。 したがって、この一連のコースを可能な限り低コストでどのように通したかに興味がある場合は、猫の下で歓迎されるようお願いします。

パート1.「すべてを記憶する...」-スキルについて少し

読者が自分自身で私の経験を試すことができるように、最初はすべてがどのように始まったかを思い出すことが適切だと思います。



したがって、この記事は、データサイエンスの基本をゼロからマスターした方法に関する自発的に発生する一連の記事の最終版です（以下の記事は表示順にリストされています）。

• “ 大小さまざまなデータをキャッチ！ »-（認知クラスデータサイエンスコースの概要）
• 「 今、彼もあなたを数えています 」またはData Science from Scratch
• “ オスカーの代わりに氷山！ 「または、どのようにしてkaggleでDataScienceの基本を学ぼうとしたのか

上記の資料の習得は合計で約1週間に収まるため（記事の執筆時間を考慮せずに）、それぞれのスキルの簡単な説明からこれらの各記事を始めましたが、私は大きな進歩を遂げたとは言えないので、コースラのトレーニングを始めた頃には、私の背景次のように：

• データサイエンスに関する最も基本的なアイデア（必要な理由、含まれる内容、作業方法についての少し）
• マットの知識はほとんどありません。 分析と統計（誤差のある行列を手動で乗算し、統計的仮説を証明する原理はほとんど遺伝的損傷で認識されませんでした）
• Pythonの知識がほとんどない、他の言語（たとえば、C＃）の最小限のプログラミングスキルは、Pythonロジックの学習のみを妨げるように思われます。
• 「5番目のポイント」で千枚通しして、集中的なコースのために1か月間殺した

トレーニングの始まりに近づいたのは、このベースでした。 スペシャライゼーションの説明には、「中間スペシャライゼーション。 「それを告白することは私を心配させましたが、スペシャライゼーションの開発者はMIPTとYandexであるため、私はチャンスをとることに決めました。



ちなみに、このコースにより、特に困難な瞬間に、すべてが思い出されるようになったことに気付くはずです。予想外に記憶に浮かび始めたのは、ずっと前に「過去の耳」の知識でした。 確かに、統計とマットの面でのこの専門化は私には思えます。 とにかく、分析は大学の専門と修士課程の科目を組み合わせたものよりも多く私の頭に置いた。



さて、もうあなたを苦しめることはありません。ビジネスに取り掛かりましょう。

パート2-「はじめに」-コースの紹介

「最も粘り強い寄生虫は何ですか？ 細菌？ ウイルス？ 腸内ワーム？ アイデア。 彼女は粘り強く、非常に伝染しやすい。 脳を手に入れることがアイデアになると、それを取り除くことはほとんど不可能です。 私の頭の中には、完全に意識した、新しいアイデアが頭にあります。」 -インセプション



この記事を書いてコースを思い出しながら、私はデータサイエンスに興味を持った唯一の健全な理由は、夢の中、または夢の中の夢の中、夢の中の夢でさえ、このアイデアに紹介されたからだと思いました...



そして、それは単なるアイデアではありませんでした-Courseraのデータサイエンスのコースを受講することは、余分なお金がなく、6か月間ストレッチする時間がなかったため、できるだけ早くコースを受講するというアイデアでした。



誰かが新しいCourseraポリシーに慣れていない場合、サブスクリプションシステムはこのコースで動作します。つまり、試用サブスクリプションの7日間無料で、毎月支払われます。

スペシャライゼーションは約6か月間設計されています。 1か月で4 576ルーブルかかりました（今ではもう少し費用がかかります）。



したがって、システムは1か月+ 1週間を与え、私はこのセグメントのために専門化を行うべきだと判断しました。 今後は、このタスクは非常に実現可能であると言えます 。



専門プログラムの説明に移ります。 6つのコースで構成され、そのうちの5つは理論的であり、6つ目はコースプロジェクト（Capstoneプロジェクト）であり、最初の5つを通過して初めてア​​クセスできるようになります。 コースを直接受講することをお勧めします。もちろん、誰もあなたに強制することはありませんが、彼らはそれを強くお勧めします。 短期間で専門化することを決めた場合、コースを少し順番を間違えた方が理にかなっていることがありますが（詳細は後で説明します）、「戻ってくる」可能性が高く、以前に完了したコースに戻る必要があります。



5つの専門コースがスムーズに知識の独立した応用の可能性を導きます。それらは相互接続において特に価値がありますが、原則として、コースは個々に有用です。 そのため、一部のコース（またはその一部）は、メインコンテキストからある程度切り離されて行われたように見えますが、いずれにしても、一般的なラインがトレースされ、スキルレベルの要件はコースからコースへと徐々に増加します。



Pythonの基本、マットの基本から始めます。 分析と確率理論、その後、教師あり、教師なしで学習することを検討します（scikit学習からニューラルネットワークまでの基本モデルから）、統計、そして実用的なアプリケーション。 基本的に、これはデータサイエンスを教えるための一般的なアプローチのようです。



一部の人にとっては、 Python 2の下でコースをシャープにすることが重要になるかもしれません。また、「未来から」いくつかのものをインポートすることもお勧めしません。タスクによってはグレーダーが非常に敏感で、たとえば、 Python 3を使用する場合を含むライブラリの違い（少なくともフォーラムのレビューで判断）。



私の意見では、Anacondaを設定する最も便利な方法です。 すでにPython 3の環境でanacondaがインストールされている場合は、Python 2で2番目の環境を設定することを簡単に心配する必要はありません（ この手順を使用してコンソールからcondaをインストールしました）。 WindowsとLinuxの両方にインストールされます。MacOSXの場合は試していませんが、問題なくインストールされていると思います。



ちなみに、専門のフォーラムから判断すると、多くはOS Windowsを使用してこのコースを受講しました。2つ目のLinuxシステムをロールアップする場合に備えてお勧めしますが、確かにこれは必要ではありません 。



私は、この専門化のためだけにLinux Mintの2番目のシステムをロールバックし、後悔しませんでした。 主観的には、その下での計算が高速になる場所もあれば、コース中に必要な一部のライブラリをインストールする際の問題も少ないように思えます。



初心者向けの最初のコースは非常にフレンドリーに見えます。MIPTとYandexのカリスマ的な人たちは、独自の方法で、なぜこれが必要なのかを教えてくれ、最初は猛烈なタスクであなたを怖がらせません。 しかし、その後、フラストレーションのレベルはトレーニングに依存します。 私とフォーラムの一部の人々は、何日も問題の解決策を見つけることができなかったり、テストすることができなかった場合がありました。一方で、能力と良い「ベース」があれば、すべてがシンプルで明確になると思います。



各コースには独自のセッション（約1か月）があり、これは学習を意味します。コースは週で構成され、週は2〜4レッスン（通常）で構成され、各レッスン（レッスン）で、原則として、オプションの資料（講義、試験テスト）があります）材料の管理、グレードによるテスト、プログラミングタスク、相互検証タスクなど。 これらの評価資料の配布は、コースを完了するために必要です。



時間通りに合格しなかった場合、罰金は科せられませんが、相互検証のタスクなど他の人と結びついている場合は、困難が生じる可能性があります（誰もが前に進み、作業を確認する時間がないでしょう）。 あるセッションに収まらなかった場合、いつでも別のセッションに切り替えることができ、結果は保存されます。



コースの講師と課題について、別の言葉を言う必要があります。 大規模なチームがコースに取り組んでおり、それに応じてプラスとマイナスがあり、コースのほとんどは4人の主要な専門家によって読まれ、それぞれが独自の専門性を持っているようです。 講師からは、経験豊富で知的な人々であることがわかりますが、最初は慣れることが難しいです。 人を怒らせないように、私は人格を明らかにしません。 初心者でも教材をかみ込もうとするため、ただお辞儀をしたいだけの講師がいることに注意してください。一部の講師は少し緊張し、最初は攻撃的な性質の暴力行為をしたいという強い欲求を引き起こします。 これは確かに、基本的な知識と個人の認識が不十分であることに起因する私の主観的な反応です。いずれにしても、専門化の終わりまでに各講師のスタイルに慣れており、不在で彼らと別れていることを残念に思っています。



レッスン管理資料も講師に直接関係しています。誰かのレッスンでは、タスクが（一般的に）激怒していることがわかります。たとえば、「3 kopecks」のような簡単なテストや、統計や確率理論のタスクでは、 。

まあ、別々のプログラミングタスク（および/または相互検証）も異なる人々によって開発されたため、場合によっては、製剤は準備ができていない人に完全な誤解と絶望的なパニックの感情を引き起こす可能性があります。



招待された講師については、読み書きができる人ですが、何か気に入らなければ退屈する時間はありませんし、そういった瞬間はあまりありません一般的な開発。



各コースのトレーニングの詳細には触れたくありません。学習プロセスのすべてを理解できると思います。有用なヒントを紹介します。 繰り返しになりますが、この専門分野に関するHabréの記事があります。たとえば、 モスクワ物理技術研究所からです。

パート3「銀河へのヒッチハイクガイド」-痛みを伴う痛みを避けるために何をすべきか。

「銀河は厳しいものです。 その中で生き残るためには、あなたのタオルがどこにあるかを知る必要があります」 -銀河のヒッチハイカー



以下では、キーボードに落ちてくる髪と眠れない夜を犠牲にする2、3の点を描いてみます。これが少なくとも少しはあなたを救ってくれることを望みます。それをあなたの「タオル」にしましょう。



1.私の大きな間違いは、学習プロセスを修正するための構造化されたアプローチの欠如です。 いくつかの問題では、私は非常に「高齢者」であり、一般的なグッドプラクティスを使用していません。 専門化の4番目のコースに近づくと、最初からマインドマップ（または類似物）のようなものが必要であることに気付きました。 主な問題は、コースがハンドルであなたを導くのをやめた瞬間に始まり、以前にカバーされた資料に戻って、前述の機能または理論の実装を掘り下げる必要があります。 メモリに頼らないでください。ほとんどの場合、場所を失望させます。 マインドマップの欠如を補う方法があることを神に感謝しますが、私はあなたが何とかしてあなたが教えるものを構築することをまだお勧めします。



2.また、この記事のメインメッセージにもかかわらず、私のようなギャロップに特化することはお勧めしません。 はい、たぶん6か月は客観的で、多くの場合、 3か月は知識の吸収を測定するのにかなり快適だと思います。 眠れぬ夜と通常の週末がないことに加えて、1か月+ 1週間のコースを勉強すると、あなたの脳が単に学んだことを消化しない可能性につながります。 それで、例えば、4年目になって、突然、無意識のうちに、まったく違うことをして、最初のコースからいくつかのポイントを理解し始めた頃には、面白い効果が見つかりました。 最終的な専門化プロジェクトの時までに、4年目から統計の基礎について理解していましたが、脳には時間が必要なようです。 短時間の学習でコースを完了する時間の不足を部分的に補うためのアドバイスの一部として、トレーニング開始後のいくつかのコースの後、トピックに関するいくつかのチュートリアルを並行して読み始めることをお勧めします。 たとえば、私は本を選びました。A。Muller、S。Guido-「Pythonを使用した機械学習の紹介。 データプロフェッショナル向けガイド ''-2017。そこにはほとんど理論はありませんが、本の内容はコースで学んだテクニックを明確に繰り返しています。

または、Sebsatyan Raskaによる「Python and machine learning」の変形として（ Metsurが提案）



3. コースフォーラムとスラックを使用すると 、あなたと同じ問題に直面している人の数に驚くでしょう。 私は急いでいたので、解決中に発生する問題に関連するフォーラムのトピックを研究することで、ほぼすべてのタスクをすぐに開始しました。 フォーラム、コードの一部 、または「グレーダー」が待機している回答の形式を見つけることは珍しくありません。特に難しい場合は、タスクの作成者が望んだこと（どうやらで難しいと思われる人）非専門家とのコミュニケーション）。 Slackは、タスクの相互検証のために人々と協力する必要があった最後の段階で私を助けてくれました。6年目の人々は少なく、すでにこの段階を通過した人を探して評価するか、またはその逆を求めてアドバイスするのに役立ちますルール）あなたを捕まえている人々に、彼らはあなたに早く追いつき、仕事を評価することができます。 また、小さな「ライフハック」は、仲間の学生を評価するのに十分なタスクを収集せず、待ちたくない場合、連帯感からではなく、常に人々がチェックするように頼むフォーラムの人々からリンクを探すことができます。最低限必要な3つの評価された作品にこだわるのではなく、より多くの人をチェックするのに役立つようにアドバイスします。 フォーラムに加えて、最初のコースではインターネットを検索するだけで役立ちます。そこで、問題を解決するためのヒントを簡単に見つけることができます（たとえば、最初のコースのタスクの1つは、コードの一部を見つけて覗くことができる科学記事に基づいています）が、インターネットはすでに少なくなっています便利です。



4.次の点を考慮します。これは、「つまずき」になる場合があります。 念のため、ノートブックを介して手動でではなく、Pythonにファイルを書き込む機能を使用して「グレーダー」形式の回答で確認するタスクでは、システムが誤った回答として認識する「見えない」文字からあなたを救うことをお勧めします。



5.セッションでの記録。 進捗状況を慎重に見積もります。 短時間で終了したい場合、無駄に待つ権利はありません。 セッションが始まるまでいくつかのタスクを渡すことはできません。たとえば、14日に2番目のコースを終了し、セッションは21日にのみ開始される3番目のコースではありません。つまり、7日間タスクの一部を受講することはできません（通常は相互に関連しています）評価）。 したがって、最後のコースを修了する少し前にセッションにサインアップすることは理にかなっています。



例を挙げましょう。コースはすでに始まっていますが、最初の3週間には他のユーザーが確認したタスクは含まれていません。このセッションにサインアップしてから、新しいセッションが開始されてクラスメートが3週目に達するまで待つことをお勧めします。 スケジュールよりも早く登録しなければならなかったコースの2番目の例では、2番目のコースを終了してすぐに5番目に登録し、最初の1週間でユーザーが評価した課題にすぐに合格し、3番目と4番目のコースに順番に落ち着きました。 このように、私は人々が仕事を評価する準備ができて、失われた時間を補った瞬間を失いませんでした。 マイナスのうち、5年目の最初の週は、すべてが私の頭から飛び出したので、教え直さなければなりませんでした。



6.誰もが知っているわけではなく、これが書かれている場合のために、これは書き留められていないようです-Courseraは少なくとも現時点ではCapstoneにプロジェクトを提供します 、つまり私のサブスクリプション（月+無料週）は08.08.17に期限切れですが、 Capstoneプロジェクトへのアクセスのサポートは、私の場合は6番目のコースの開始から7月末に開始したため、1月末まで6か月間継続するという。 これを知って、あなたはあなたの神経を救うことができます。



7. Capstoneプロジェクトは4つのブランチに分かれています。専門化を完了するには、そのうちの1つを通過するだけで十分ですが、評価システムはあまり公平ではありません。 たとえば、第1プロジェクトの第5タスク（インターネットユーザーの識別）では、kagleのトップコンペティションに参加する必要があるため、高得点を達成するのは非常に困難です。一方、センチメント分析プロジェクトの第5タスクでは、原始的なサイトパーサーの場合、タスクはコースの前のタスクに進むことなく30分で実行でき、良い成績を取得するのが簡単です（最終的に最高のスコアを考慮します）。 このように、メインブランチに加えて、より良いスキルを持っているいくつかのポイントで、他の建物を実行し、ビジネスと喜びを組み合わせることができます。



8.通常のコードを書いてメモ帳をうまく作成するのを怠らないでください。急いで（十分な知識がなかった）、コードが不気味で、自分で解析することはほとんどできません。他の人にとっても難しいです（ これはユーザーの評価に影響する場合があります ）。 盗作で国境を越えていないことを確認して、他の人がどのようにやっているのかを見て恥ずかしくないと思います。 また、ノートブックにタスクの説明のテキストを含めることをお勧めします。各セルで何をしたか覚えていないため、サブスクリプションの有効期限が切れると建物へのアクセスが閉じられるため、見られなくなります。 実際、多くのタスクはGitHub上にあるため、これはそれほど重要ではありません。



9.まあ、これはひどく、真剣に、先月、私は時々一晩2時間眠り、友人や親seeに会わず、食事を忘れ、問題を解決するために週末全体を費やさなければなりませんでした。 したがって、1か月以内にコースをマスターするための特別なトレーニングなしで本当に必要な場合は、準備ができているかどうかを考えてください。



ちなみに、ヒッチハイクガイドギャラクシーへのフレーズは、コースで定期的にランダムシードを= 42に設定することを推奨しているという事実によって想起されました。



まあ、在庫を取ることは理にかなっていると思います。

パート4「私は戻ってきます」-結論。

質問に順番に答えましょう。



1.これまでにトレーニングで得たスキルは役に立ちましたか（サイクルの最初の3つの記事を参照）。



-はい、でも大したことではありませんが、一方で、あなたが何を待っているのかを知っていると良いです（認知クラスのコース）、「ゼロからのデータサイエンス」のチュートリアルもいくつかの場所で役に立ちました、私は確率の理論を読み直しました（少しの資料があります、ただし、Capgleプロジェクトを行っている場合、kagleの経験も役立ちますが、練習の観点からスキルに関する3つの過去の記事すべてが専門分野の通過と密接に関係しているわけではないため、すでに決心している場合は、あなたが望むものは何でも、「前戯なしで」始めることができます。



2.基本的な知識の不足に苦しんでいますか？



-はい、特に2.5日間単純な関数を書くことができなかった場合、または統計と確率理論のいくつかの瞬間をはっきりと知覚できなかった場合、非常に多くの場所で。 幸い、フォーラムやスラックがあり、同じ人たちがたくさんいます。もちろん、コースのメンターや、開発者自身が助けようとする助けを見つけることができます。 すべてが完全に悪い場合は、個人的な家庭教師を取ることができますが、誰でもそれを自分で処理できると思います。



3.何か新しいことを学びましたか？



-はい、まず、私の人生で初めて、連続して9.5時間動作するプログラムを作成し、その後メモリエラーで覆い隠しました（それからもちろんすべてを修正しました）、私は弱いコンピューターを持っていますが、通常のグラフィックスのおもちゃでさえ競争できませんでしたリソースを食い尽くすという観点からの私の創造。 これは非常に良い経験であり、放電されたマトリックスの重要性と利点を永遠に思い出しました。 さて、そして第二に、他の有用なポイントもあります：このコースはまだPythonを少し教えます（y）、私はまだそれを非常に乏しく知っており、「Pythonの方法」を習得していませんが、全くないよりもはるかに優れています、コースは基本原則をうまく説明します高度な数学と統計情報（詳細は説明しません）、実際、私はそれらを自分で再発見しました。 コースには本当に多くの興味深い機能があり、必要に応じてそれらの一部を日常生活に移すことができます。 はい、情報の同化には問題があります。材料の4分の3が認識されたと思いますが、残りでもデータ分析が必要な場合にどの方向を掘るかを推測するには十分です。



4.誰もがこのコースを学ぶことができますか？



-願望があっただけで、たぶん一ヶ月ではないかもしれないが、彼が本当に欲しいものを自分で決める人は間違いなくマスターするだろうと思う。コースの条件は異なるものを選択し、年齢の若い男の子と女の子と人々、両方とも材料についての十分な知識を持ち、実際にはそうではありませんでした。



ボーナスとして、スペシャライゼーションWebサイトの著者は、就職後の就職を支援する可能性について書いています。まだ試してはいませんが、機会自体は喜ばしいことです。



要約すると、スペシャライゼーションをお勧めします。多くのポイントはまだ粗いですが、価格と品質の比率は許容できるオプション以上のものだと思います。



次は？取得したスキルを趣味に適用し、Habrの資料を破棄するか、.netで機械学習の状況を確認し、購読を解除することもできます。しかし、これはすべてずっと後になります。



だから、この興味深い分野の知識を習得するために皆さんの幸運を祈ります！



さて、記事があまり深刻に見えないように、「ボーナス」をキャッチしてください。

ボーナスとして

この専門化のもう1つのクールな利点は、相関という言葉を学んだことであり、今では実際にではなく、どこにでもそれを突き出すことになります。



だから、過去の記事に関するあなたの手紙とコメントは、サイクルの一部としての私の過去の記事が多かれ少なかれ簡単に読まれ、少しユーモアを含んでいるという知識に私を導きました（まあ、これが真実であることを願っています）が、この記事は読みにくい感情で判断します、はい、モニターを真剣に覗き込んで書きました。



このように考えると、サイクル全体の各記事の資料から学ぶことがいかに簡単であるかと、記事の条件付き「ジョーク」の数との間に相関関係を見つけることができます。



相関関係があるかどうか見てみましょう！



記事の単語数と記事の「ジョーク」数の比率、および習得の難しさ（学習に費やした日数）を計算してみましょう。



記事は、記事の冒頭で示した順序で番号が付けられます。ジョークと単語の数を計算するとき、これはそれぞれ4番目になり、ボーナスセクションは選択に含まれませんでした。



ジョークとは、少なくともいくつかのユーモアのヒント（記事の冒頭の写真を考慮に入れる）を意味し、見出しの引用はジョークとは見なされませんでした。だから：



1.記事番号1：単語= 2575、ジョーク= 5、トレーニングの日-2

2.記事番号2：単語= 2098、ジョーク= 3、トレーニングの日-3

3.記事番号3：単語= 2667、ジョーク= 4トレーニングの日数-2

4.記事番号4：単語= 3051、ジョーク= 2、トレーニングの日数-37



さらに、コードはPython 3です。 zip（）

import pandas as pd humor_rate=[(5/2575),(3/2098), (4/2667),(2/3051)] days=[2,3,2,37] df=pd.DataFrame(list(zip(humor_rate, days)), index=None, columns=['Humor rate', 'Days of study']) print (' : \n', df) print ('  humor rate  days of study = ', df.corrwith(df['days of study'])[0])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

結論：



:

.....Humor rate.....Days of study

0....0.001942............2

1....0.001430............3

2....0.001500............2

3....0.000656............37



humor rate days of study = -0.912343823382









さて、最後に？ 最後に、否定的な相関関係（係数。PearsonCORRELATIONS）があります。これは、原則として、記事の学習に費やす日数が少ないほど、記事のユーモアが多くなることを示しています。



もちろん、これは相関のコミック例です。 もちろん、データはほとんどなく、記事のジョークの明確な数を判断することも困難でしたが、これは、CORRELATIONの計算など、専門化後に取得したスキルを実践する方法の小さな例と考えます。



PS記事のボーナスフラグメントでこの言葉を何回言及しましたか？ そうです-8つのprint（）出力を検討しています。