プシュチノウィンタースクールの情報検索コース：高校生に検索エンジンの作成を教える

200人以上の同僚が私たちの技術プロジェクトで教えています。 しかし、多くはこれに限らず、他の教育プラットフォームでマスタークラス、コース、講義を実施しています。 そのような愛好家の一人は、この春、プシュチノウィンタースクールで情報検索のコースを実施したローマヴァシリエフです。 彼のリーダーシップの下で、わずか6クラスで、7〜11年生（！）の学生が検索エンジンを書き、プロジェクトを擁護しました。 彼らはどのように成功し、どのような検索エンジンであり、ZPShの目的は何ですか？哲学的、思慮深く、簡単で、Roman Vasilievによるかなりのユーモアの記事です。

エントリー。 私たちの教育はどこに行きますか

学校のシステムを20年以上見て、最初は生徒として内部から、次に外部から、今日の生徒と通信して、世界は以前と同じではなかったと思います。 私たちの生活を改善するように設計された情報技術の開発の飛躍にもかかわらず、私は現代のロシアの学校で勉強する人をenましく思いません。 理由を尋ねますか？ あなたの子供時代を思い出してください。 きっとあなたはすぐに大人になりたかったので、自立を示す機会を探していました。そして、あなたはこれらの瞬間に選択と行動の自由を感じるのが好きでした。 学校から家に帰るとき、私は食料品の市場に行きました-それは私が少し大人だったときでした。 当時、誰も私をコントロールしていなかったし、携帯電話を持っていなかったし、友達と一緒に歩いたり、私と一緒に何かを考えていた。この自由の一口は私にとって不可欠だった。

今何？ 多くの場合、親は子供を学校に連れて行って連れて行く必要がありますが、生徒は現在綱渡りしています。 彼らは時代が変わったと言います。 ほんと？ 私は彼らがどんな人なのか、彼らは本質的に同じままで、マニアはもういなかったし、オオカミに対する恐怖もなかったに違いない-森に行かないで。 パフォーマンスのレベルを監視および測定する手段がますます導入されています：電子日記、新しいタイプの試験。 しかし、私の物理の先生であるアレクセイ・イノケンティエビッチが言うように、朝あなたがポケットに小銭を入れなかったら、何を言っても、昼食にそこにはいません。 これにより、既存の知識をテストするのではなく、知識を生徒に伝達する方法に重点を置く必要があり、最も重要なこととして、異常な状況で考え、批判的に考え、解決策を見つける能力を生徒に植え付ける必要があるという私の見解を表明したいと思います。

実際、私はしばしば、生徒たちは単に学びたくないと教師から聞きます。そして、例えば、一部の学校でのプログラミングはそうではなかったなど、学問全体​​が時々崩れると生徒から聞きます。 はい、はい、地質学の学生のグループが私のところに来ます。私は彼らにコンピューターサイエンスを教える必要があり、全員の知識レベルは「幸運」であり、コースを適応させることは非常に困難です。 または、たとえば、文学の授業で生徒がマークを落とすという一般的な現象は、教師の意見に同意せず、エッセイにそれを反映するためです。 教師は主題を完全に理解していますか、彼らに心から関心がありますか？ 悲しいかな、すべてではありません。 そして、あなたが古い世代の教師が必然的に亡くなることを考えるとき、それは驚くことではありません、そして、ソ連の崩壊の後、教師の人生はより生き残りやすくなりました、その結果、強い志願者は単に教育大学を迂回しました。 彼自身が「火傷」していないときに何かに興味を持つことは可能ですか？

そして、学校が教室内と教師と生徒の間に不健康な関係を持っていることがあるという事実について話すと、一般的に悲しくなります。 ここで勉強しませんか？ どの学校に行くかによります。 あなたが幸運でなく、あなたの両親が私立学校や家庭教師のためのお金を持っていない場合はどうでしょうか？ しかし、多くの場合、このような普通の学校では、子供、オリンピック選手に才能を与えています。 私自身は、これらの子供たちの社会化が問題になる可能性があることを知っています。例えば、仲間は彼らをenましく、理解しません。 しかし、これらの子供たちが思ったよりも多く、彼らの才​​能が地面に潜り込んでいる場合はどうですか？ 子供に知識の気味の良い味、新しい素材の習得を与える方法は？ 彼をその集合体に入れて、水中の魚のように自由で自然に感じるようになり、志を同じくする人々、友人、彼の愛に会うでしょうか？

ZPSh。 アイデア

知識の世界がすべての色で遊ぶ島があり、レッスンはコミュニケーションと共創であり、生徒は遠くから来てそこで休暇を過ごすことができます。 これは、冬のプチチーノスクールです。 あ、15年前の彼女のことを知って！ 1990年以来、セルプホフからそれほど遠くない、オカ川のほとりにあるプシュチノの小さな町にあります。 3月末、彼女の第28シーズンが開催されました。 学校の主な目標の1つは、生徒が教育プロセスを異なる角度から見て、異なる雰囲気に浸し、自分が面白いものを選択できるようにすることです。 15年以上にわたり、プロジェクトの全般的な管理はミハイルアブラモビッチロイトバーグ博士によって行われました。 Ph.D.、応用数学研究所長、IMPB RAS、モスクワ物理技術研究所のアルゴリズムおよびプログラミング理論部長。 残念なことに、彼は去年の夏に亡くなりました。現在、学校の指導部は合法的であり、組織委員会は主に科学者と大学教授で構成されています。

教師-若い教師、熱心な学生、大学院生、ロシアで最高の大学の卒業生。 科学と彼らの仕事への愛で学童を点火したい100人以上のボランティア。 ためらうことなく、私はこの機会を利用して、興味深く、関連性があり、どの学校でも教えられていないものについて話すことにしました。

学校の構造。 アクティビティ

HPSには、ホグワーツのように、正確、自然、人道、心理の4つの部門があります。 コースのトピックを選択する自由、および資料を提示する方法は、聴衆の規模と特定の技術的手段の利用可能性を除いて、実際には何によっても制限されません。 5日間のそれぞれで、1時間ごとに3つのコースがあります。 この時間は、講義やワークショップ、マスタークラスに任意に配布できます。 夕方にはスタジオがあります。 この形式は、創造的な雰囲気が生まれるアートクラス、トレーニングに最適です。 ZPShでは、例えば、核物理学のコースを実施したり、折り紙の花を作ったり、ウクレレを演奏したりするスタジオを開催できます。 各コースには特定の成果があり、その参加者は週末の会議でポスターの形で発表します。 したがって、論理的な結論と目に見える結果が得られるように、授業計画を検討することが重要です。

学校で従業員として登録する、つまり 先生、1か月ほど必要です。可能であれば、コース名に標準と詩の2つのオプションを示します。 どのクラスの生徒が出席するかを選択し、聴衆の規模を制限する機会があります。 各コースには、小冊子に印刷された注釈とポスターも必要です。 アーティストである必要はありません。ほとんどの教師は画像やスケッチを送信しますが、主催者はそれらを思い浮かべます。 登録が完了すると、新入社員は知的学校に到着し、コースについて10分ほどの短いレポートを作成します。 組織委員会はコースを決定し（通常は肯定的）、提案を行うことができます。

学校は、子供たちが1週間以上来るキャンプに似ているため、カウンセラーになる機会があります。 すべての従業員は、Pushchinoでの旅行および宿泊に対して報酬を受け取ります。 誰も仕事をキャンセルしなかったので、私は6日間連続してバスでそこに行かなければなりませんでした。 それは非常に困難でした。午前9時に引っ越し、午後に3枚目のテープを取り、レッスンを行い、昼食をとり、モスクワに戻った後、私は4時半頃にオフィスに行きました。 彼はできる限り働き、真夜中過ぎに家に戻り、寝る前に次のレッスンの準備をしていました。 来年はおそらく休暇を取りますが、特に心理学のいくつかのコースに参加することになります。また、朝の5時30分に起きて最初のテープを見るのは殺人です。

私の第一印象。 場所、雰囲気、人々

はい、それは一週間だけ続きますが、あなたがそこに着く料金は長い間十分です。 日曜日の朝、雪原と森を抜けて、バスでプシュチーノに到着します。 体育館は、神秘的な名前「AB」のある町の入り口にあります。 「P」の文字が書かれた赤レンガの建物で、全員が学校のグランドオープンのためにレッドホールに招待されました。 そこに着いたとき、私は周りの人々の顔を見て、懐かしさを感じました：数学と物理学でオリンピックに行ったときのことを思い出しました。 今回だけは、問題を解決したり競争したりする必要がなかったときに、別の能力を発揮しました。

主な仕事は、日曜日にコースのプレゼンテーションが行われるためです。 ポスターは廊下のいたるところに掛けられ、教室はどこでも開催されました：教室だけでなく、レクリエーションでも。 一般に、PPSで普及している雰囲気は、優しさ、注意、信頼に満ちています。 形式主義は最小限に抑えられ、すべてが想像力を自由に保つことを目的としており、学生や従業員の仕事を制限することは決してありませんでした。 たとえば、このリスは普遍的なお気に入りだけでなく、学校の正会員にもなっています。

本社の隣の1階にはアフリカンカフェがあり、いつでもお茶、コーヒー、果物を食べることができました。

正確に10分で3回、コースについて話します。 一日の終わりに、生徒は自分で選択します。 合計で、約200〜300人の学生が数十のコースから3つのコースを自分で選択します。 私が見たように、データ分析とニューラルネットワークのコースはより人気があり、6人が私の情報検索に登録しました。 私は言わなければならない、これは良いことです：少なすぎず、多すぎず、対話を行うのが便利です。 もっと少なくなるのではないかと心配しました。

学校の真珠は、いわゆるマンモスの講義です。これは、学校に通い、科学への関心を喚起する主要な科学者です。 ちなみに、コース構築の計画は、会議での研究とコミュニケーション、結果の公開を組み合わせた科学者の仕事を繰り返します。

PPSの問題の1つは、コンピュータークラスの欠如です。 ロシア文学の事務所を手に入れました。 プロジェクターが見つかりましたが、その場所でWiFiがこのようにキャッチしたので、モバイルのものを使用する必要がありました。 誰もがラップトップを持っていなかったので、私は2つを持ちました。1つはプレゼンテーションを示し、もう1つはワークショップに使用しました。

勉強の日。 情報検索コースの構築方法：トピック、教育プロセス

そこで、興味深く、アクセスしやすく、インタラクティブな情報検索コースを作成するタスクを自分で設定しました。 私は、学校にはメンタリング、個人参加、教育プロセスへの深い没入感がないと確信しています。 私は、コースをエキサイティングな旅のようにしたかったのです。経験豊富なフォレスターのように、すべてのトレイルを知って、みんなをリードします。 そして、どのような場合でも、コースはCPSUの会議での党員の退屈なスピーチのようなものであってはなりません。 これは、講義だけでは済まないことを意味します。

最初のレッスンで、私はすぐに男たちの気分を理解しました。 ほとんどの場合、彼らはPythonをよく知っていて、熱心ではないにしてもコードを書きたいと思っていました。 さらに、小さなものではありますが、誰もが検索エンジン全体を書きたかったのです。 そのような欲求は伝染性であり、コースの結果に基づいて検索エンジンを作成しないことはあきらめることになると判断しました。 そして、あきらめることは私たちのことではなく、私たちは彼らの一人ではありません！ 大きな問題が発生しました。時間はわずか5時間で、さらに金曜日にはもう少し時間があり、会議の準備に割り当てられました。 したがって、検索エンジンが考えられない部分について最初に話し、途中でコードを書き、それがどのように進むかを決めました。 そして、そのような時間にゼロからプロジェクトを書くことはほとんど不可能なので、私はブランクと個々の部品を持ち込み、整理し、完成させてまとめることにしました。 これは実行可能なタスクです。

コースには2つの講義、3つの混合クラス、およびハッカソンがあることが判明しました。 同僚からすばやく簡単に準備できる資料を借りましたが、多くの人に感謝しています。 好奇心and 盛で興味のある人をテクノストリームチャンネルに送ることもできます。同じトピックについて詳しく説明しています。

最初のレッスンでは、検索エンジンの一般的なアーキテクチャ、直面している問題、およびそれらを解決する方法について話しました。 2番目のレッスンでは、夜間にスケッチを行い、クローラーがそれを起動し、 lenta.ruポータルから2000ページを取り出しました 。 最初に彼は子供たちにクモがどのように機能するかを話し、レッスンの最後に準備されたコードを彼らに与えました。 私たちは一緒に、私が物理的に除去することができなかった（いつか寝る必要があった）欠陥を特定し、3日目には既にPython 3の拡張バージョンをもたらしました。情報。 もちろん、クエリとインデックスアナライザなしでは実行できません。また、インデックスと辞書のバイナリ表現の方法を理解することは、どんなに面倒であっても実行できません。 これがコースに入り、3番目と4番目のクラスのトピックになりました。

行った限りでは、インデクサーコードを並べ替えました。 この時までに、彼らはすでに検索エンジン用の美しいWebインターフェースを洗い流していました。それはバックエンドにねじ込まれるのを待っていました。 授業後4日目に、ダンと私（私の生徒の1人）はコースのロゴを描きました。 前回のレッスンでは、リスナーのリクエストに応じて、重複を見つける方法について説明しました。 彼らは、帯状疱疹とは何か、ミンシングル型アルゴリズムの仕組みを学びました。 しかし、大量のデータを処理するコースでMapReduceがどのように機能するかを説明したため、Broderアルゴリズムには問題はありませんでした。 最後に、小さなハッカソンで、クローラーがトレーニングしたデータにインデクサーを調整し、最も不器用な方法でスニペットの生成を実装しました。

夕方6時までに、すべての重大なバグが修正され、ウェブインターフェースがねじ込まれ、何らかの検索エンジンで会議に参加しました。 成功でした！ ひどく疲れましたが、幸せで、モスクワに行きました。 翌日、彼は落ち着いて眠り、私の生徒たちが確実に対処できると確信した。

もちろんヒーロー。 私からのいくつかの言葉、男たちへのインタビュー：ダンヤ・ゴロロフ、アルテム・ブルストヴェツキー、カティア・フヴァトヴァ

しかし、どうしてそれを引き込めないのでしょうか？ 「すべてを手に入れることができなければ、誰も手に入らないでしょう。」

私が以前教えた教室では、そのようなエネルギー、不屈の熱意、才能の輝きは見たことがありません。 そして、モスクワ州立大学で、5つの地質学者グループ、可燃物を学びました。 私が見たように、クラスは対話のようであり、注意が散在していれば、誰もがコードを見ていることを意味していました。 ここで私はたくさん言いたいです、そして、私はあなたが正確に言葉で考えを伝えることができるという困難に遭遇します、しかし、感情は常に従順であるとは限りません。 父は日曜日に私に尋ねました。「そして、あなたは毎日100キロメートルをさまようのが面倒ではなかったのですか？ あなたのためにこれ以上することはありませんか？ 最終的に論文を書くのはいつですか？」

私の生徒たち、あなたのために、それは怠kilometersではありません、たとえそれが百キロではなくても、すべてが２００キロであっても。 あなたを見ていると、あなた自身が二重に成長し、前進し、上に進みたいと思うでしょう。 私はいつも話をしてうれしいです。 そして最後に、このコースが好きで成功したことがわかり、とても嬉しく思いました。

私の生徒は誰ですか？

ダニエル・ゴロロフ

彼女は、オブニンスクのドゥブロヴシュカ寄宿学校の7年生で勉強し、ウェブプログラミング、IT全般、特に情報検索技術に興味があります。 そして特に-マイクロコントローラのプログラミング。それに基づいて、彼はインターネットを介して温室制御システムを開発しました。 システムは、タンク内の水位、湿度、気温に関するデータを読み取り、自動空調制御を実行します。 もう1つのDaniプロジェクトは、低レベルを含め、HTTPに反対して作成されたArduinoでのネットワークプロトコルの実装です。 このプロトコルの主な特徴は、そのモジュール性と拡張性です。 その主なプログラミング言語はPython、Flaskフレームワーク、Hadoopを使用したMapReduceパラダイムでの分散コンピューティングであり、関心のある分野に分類されます。 計画-大量のデータ、機械学習、深層学習を処理する技術を習得する。 次に、ニューラルインターフェイスのオペレーティングシステムを作成します。 彼が成功すると確信しています。

アルチョム・ブルストヴェツキー

プシュチノの11年生の生徒は、6年連続で学校に通っており、プログラミングに非常に情熱を注いでいます。 彼の選択は情報検索のコースに落ちました。なぜなら、この分野は彼が興味を持っているウェブとバックエンドの開発に関連しており、コードを書く素晴らしい機会があったからです。 素材を理解することに対するArtyomの懸念は具体化されず、最終的に彼は検索エンジンのプログラミング方法を学びました。 Artyomで最も愛されているプログラミング言語はPythonです。彼はそれに特別な注意を払ってコードを記述することを言及し、その品質を完全にするよう努めています。 何よりも、Artyomはネットワークプログラミング、マルチスレッド、ソケット、ゲーム開発が好きです。 現在、彼はUnityでゲームを作成しています。主な重点は、サーバー部分の実装とデータ転送のパフォーマンスです。 彼は機械学習、ニューラルネットワークなどの業界での開発を計画し、Web開発のレベルをさらに向上させる予定です。 彼が実現したいアイデアの1つは、各参加者が自分のデータを保存する分散システムへのWebの変換です。 Artyomは学校で最も明るい印象を持ち、すべての生徒にここに来てこのユニークな雰囲気に浸ることを勧めています。

それでは 、モスクワの11年生であるKatya Khvatovaに一言お願いします。

「私は人生の楽観主義者です。趣味は非常に多様ですが、主なものは生物学とプログラミングです。 このトピックを選んだのは、トピック自体が好きだったため、 Mail.ru Searchなどの検索エンジンの動作原理に非常に興味があるからです。 私はコースに来て、ほとんど言語を知らないので、時々それは難しすぎました。 それにもかかわらず、教え方が非常に便利だったので、仕事の原則自体がすぐに明らかになりました。 横から見ると、私は最も弱いプログラマーでしたが、好きでした。 私は多くのことを学びました-例えば、検索エンジンに対してより理解しやすいクエリを提供する方法、そしてこれは将来大いに役立ちます。 私たちはかなりの練習をしましたが、プログラミングについてではなく（これについても）、原理そのものについてもっと学びたいと思ったので、それが好きでした。 さまざまな言語に興味がありますが、最近では主に使用されているため、ほとんどすべてのJavaおよびC ++です。 また、最も便利な言語の1つでもあります。 しかし、それにもかかわらず、私がPascalを使用する瞬間には、いくつかのプロジェクトがあります。 プログラミングの世界自体は非常に多様です。私にとっては、たとえばニューラルネットワークやバイオインフォマティクスなど、生物学に接する産業は興味深いものです。 実際、私は自分が望むすべてのことを学び、このコースを選んだことを非常に嬉しく思います。」

コースの成果。 検索エンジン。 男たちは何をした

そして今、最も荘厳な瞬間が訪れました。コース中とそれからさらに2週間で私たちがしたことの結果を示すことです。 そして、これは、小さくてわずかに切り詰められていますが、まだ機能するWeb検索エンジンです。 現在、サーバーに展開されています http://alphase.ru/ 、ソースへのリンクはこちら 。 そのアーキテクチャは次のとおりです。

緑色は、定期的に動作してインデックスを最新の状態に維持できるコンポーネントを示しています。 オレンジ-一定の負荷を運び、検索クエリをリアルタイムで処理するもの。 Webドキュメントのベースは青色で示されていますが、実装ではファイルシステムに単純に保存されます。

一方では、クローラーはrobots.txtファイルの内容を考慮してインターネットページをクロールし、HTTPプロトコルエラーの可能性を処理し、それらをダウンロードしてディスクに保存します。 現在、ポータルhabrahabr.ruからWebドキュメントの小さなコレクションが受信されています。 元のHTMLマークアップは、外部システムである「ブラックボックス」として使用されるBoilerpipeユーティリティによって処理されます。 その結果、バインド（ヘッダー、フッター）、サイトメニュー、広告なしのページのテキストコンテンツのみが残ります。 開始する前に、インデクサーは重複除去ユーティリティーを開始してから、文書のテキストを処理し、索引と辞書を生成します。 重複文書を検出するために、ミンシングルアルゴリズムが使用されます。 現在、インデックスのサイズは数万文書程度と小さくなっていますが、クローラーからの新しい受信により徐々に増加しています。

一方 、フロントエンドはユーザーからのリクエストを受け取り、個別の単語（用語）に分割され、それらにクエリツリーが構築されます。 これはchercherに渡され、chercherは辞書を参照して、ツリー内のすべての用語に対応するブロック番号を見つけます。 次に、サーチャーは必要なブロックをインデックスから抽出し、各ブロックからドキュメントのセットの共通部分を計算します。 見つかったドキュメント（この場合、クエリキーワードの1つを含むドキュメントの最初のフラグメント）に対してスニペットが生成され、URLが決定されます-これが実際に結果です。 これはフロントエンドに送信され、ユーザーに表示されます。ユーザーは結果に満足していることを願っています。 フロントエンド自体は、Flaskフレームワークを使用して作成されました。

jar（Javaアプリケーション）として使用されるBoilerpipeを除き、すべてのコンポーネントはPython 3.6で記述されています。 インデックスと辞書は、大規模なコレクションですばやく検索できるようにバイナリ形式で表示されます。 現在、単純なテキスト機能に基づいて結果をランク付けするためのサブシステムが作成されています。

小さな追加として、パブリックAPIにアクセスしてユーザーの場所を特定し、ユーザーの現在の天気データをダウンロードする天気予報ページを追加しました。

そして、クールなことはこれです： それは動作します！