ママール数。 Yandexでのインターンシップでの人工知能の測定方法

2015年夏 セッションは正常に終了しました。 普通の人はたぶん言うでしょう：「あら！ 自由！ 私は一日中サッカーをして、トルコまで海に飛びます。」 しかし、探究心のある本物の研究者ではありません。 いずれにせよ、自分のプロジェクトに取り組むことにしました...しかし、時間は非生産的なものでした。 そして、明るい考えが浮かびました。Yandexでインターンシップに参加してみませんか？ 確かに彼らには興味深い研究課題がたくさんあります。また、これは、学ぶべき多くの分野の多くの専門家がいる巨大な会社で働く貴重な経験です。 Yandexでインターンシップを取得する方法、そこで何ができるか、あとで何が待っているかを今日共有したいと思います。



最初に、あなた自身についてのいくつかの言葉。 私の名前は21歳のムアンマルです。現在、モスクワ州立大学の力学数学部の5年生です。 また、ShADの卒業生であり、ShADの自然言語処理セミナーのリーダーであり、Yandexスピーチテクノロジーチームの若手開発者でもあります。 私は超天才ではありませんが、仕事が好きで、知っています。 おそらく自分自身を称賛するのに十分な、インターンシップについて話しましょう。 誰も気にしない-キャットへようこそ！

チーム選択プロセス

だから、夏にYandexで働くことにしました。 考え直すことなく、学生プログラムの学芸員であるユリア・クリボバに、難しい仕事をしたいと言ったが、 NLPに興味があることを忘れずに書いた。 「奇跡のフィールド」ではどうですか？ この機会を利用して、私は母に、ジュリアに本当に感謝していることを伝えたいと思います 。彼女は最終的に私が好きなチームを選ぶことに多大な努力をしました。 一般的に、私のストーリーでチームを見つけるプロセスは特別な注意に値します。 さらに、Yandexでのこれらの「恐ろしい」インタビューを求めないことと、その準備の仕方に誰もが常に興味を持っています。



最初は、機械翻訳チームに興味がありました。 彼らはインターンシップを持っていませんでしたが、それでも彼らは私と話をすることにしました。 心と心の会話が想定されていることを除いて、すべてが完璧でしたが、最終的にはすべてが技術面接になりました。 道徳的に、私はこれの準備ができていませんでした。その結果、私はひどく愚かで、すべてを千の手がかりで解決しました。 彼は彼の取るに足りないことについての考えの山を残しました。 数日後、ジュリアは一般的に私が好きだと言ったので、インターンシップを待つ必要があります。



しばらくして、私のShAD情報検索教師の1人であるSasha Bolkhovityanovが私について訪問しましたが、彼らには重複検索チームのジュニア開発者の地位に人が必要でした。 1週間後、私は3つの連続した対面インタビューに招待されました：アルゴリズム、設計、およびC ++。 私はアルゴリズムとデータ構造を完全に知っていましたが、一般的に、彼らは超自然的なことを求めませんでした。 「分散型フォールトトレラントシステムを構築する方法」や「このシステムにどうすれば...」などの質問を設計する際に、工夫が役立ちました。 しかし、C ++では深刻な問題がありました。 プログラムの書き方、特定のコード行が何をするのかは理解していましたが、それでも、これらすべてがメモリのより深いレベルにどのように配置されているのかはあまり分かりませんでした。 私は人懐っこい人なので、どうにかしてこの大惨事を薄めるために、心から誰かと話をしました。 私は前向きな印象を与えましたが、彼らが提案したタスクは個人的に私を刺激しませんでした。 そして、私は明確に決めました：少額の給与の方が良いのですが、ジュニア開発者として重複を探すのではなく、個人的に興味のある機械翻訳タスクに行きましょう。



時間が経ちましたが、何らかの理由で他のすべてが静止していました...しかし、長くは続きませんでした！ 正確な時期は覚えていませんが、美しさのために、朝の3時にジュリアからの手紙が私のメールに届くと想像してみましょう。音声インターフェイスを開発するチームが従業員を探しています。 「はい、それは純粋なNLPです」と私の頭から光りました。 テキストから情報を抽出し、名前付きエンティティを定義し、ボットをチャットします-一般的に、私はそれらに到達するために本当に燃えました。 最初に、彼らはPythonのSkypeインタビューをアレンジし、同時にBashの私の知識を明らかにしました。 最初に私がよく考えた場合、これはBashとは何ですか-私は知りませんでした！ インタビューの後、彼らはすばらしい宿題をくれました。たとえば、「エッフェル塔とは何か」という人間の要求に応じて、最も適切なウィキペディアの記事を見つけるだろう対話エージェントを書くことです。 それでも私はしっかりとやったように思えますが、そのリーダーは、チームがまだベビーシッターとすべてを学ぶ必要のあるインターンではなく、既製の開発者を必要としていると言ったのです。



音声認識というコマンドが1つだけ残っていました。 正直に言うと、私はこの分野について何も知りませんでしたし、NLPがどこにあるのかも漠然と想像していました。 私の現在のリーダーであるイリヤ・イリア・エドレンキンは、私が彼らを望んでいることを保証し、さらに彼らがしていた仕事は私には非常に難しいように思えました。 一番下の行では、さらに2つのインタビューが待っていました。1つ目は、通常の知識に加えて多くの工夫が必要な高度なアルゴリズムについて、2つ目は機械学習についてです。 私はそれらを素晴らしくではなく、きちんと渡しました。 わずか1、2日後、ジュリアから、私をチームに連れて行く準備ができているという手紙が届きました。 万歳、同志、幸福が来ました！



それとは別に、私には、インタビューにプラスの効果があると思われるいくつかの点に留意したいと思います。 第一に、興奮の欠如：私は彼らが私にインタビューしないような気分でヤンデックスに行きましたが、私はそこにいるすべての人にインタビューするつもりでした、そして結果は私にとって完全に重要ではありませんでした：彼らはそれを取ります-素晴らしい、彼らは取りません-また神に感謝します。 第二に、たとえどこかで愚かであったとしても、私は全体として会話を始め、抽象的な話題について話し、自分自身をポジティブな光に照らそうとしました。 第三に、私はインタビューの準備に3時間以上費やしたことがなく、準備中にしたことは、ある分野または別の分野の知識を新たにすることだけでした。

インターンシップの技術的側面

Yandexの各研修生には、3〜6か月で解決できるという仮定の下で、小さいながらも非常に創造的なタスクが与えられます。 さらに、「決定する」という言葉を文字どおりに解釈すべきではありません。 時には小さな問題の解決について話していることもありますが、場合によってはメトリクスの改善である可能性があり、問題に対する新しい方法やアプローチを考え出す必要が生じることがあります。 私の場合、ASRシステム（ASR-自動音声認識）でフレーズや個々の単語を認識する際の信頼度を判断する方法を学ぶ必要がありました。 音声認識がどのように発生するかを思い出させてください。 サウンドをテキストに変換するプロセスは、いくつかの段階で構成されています。

1. 前処理。 オーディオ録音を10ミリ秒単位で25ミリ秒のフレームに分割します。 （おそらく、いくつかの方法でノイズを取り除こうとしています。）
2. 特徴を抽出します。 各フレームからいくつかの数値的特徴が抽出されます。
3. 機能を音素による分布に変換します（実際、音素ではなく、実際のモデルでは、セノンは状況依存音素のクラスです）。 いくつかの隣接するフレームの機能が互いに接続されており、この優れたものに対していくつかのニューラルネットワークが設定されています（DNN、LSTM、GRU-お好みのもの）。 出力では、音素の確率分布を取得します。
4. デコード。 さらに、言語モデル、辞書、および世界の理解を考慮して、見つかった確率分布がデコードされ、単語のチェーンが取得されます。

問題全体はステップ3にあります。ニューラルネットワークは判別モデルです。 彼女は、特定の音素が特定の音素でどれだけうまく異なるかを言いますが、特定の音素がこの音片でどれだけ/どれだけうまく表現されているかは言いません。 このような例えはここで可能です。 一部の人々は非常によく知っているので、完全に説明することができます-これは生成モデルです。 そして、私たちは人を見て、何かが私たちの記憶に預けられていて、人を記述することはできませんが、任意の人の写真を見せれば、その人が写真に写っているかどうかを判断できます-これは差別的なモデルです。 このモデルの問題は、たとえば、通常の条件下およびノイズの多い条件下でフレームとサウンド「p」が鳴ったことです。 この音が原理的に-ある場合には別の場合-他の音と区別できる場合、ニューラルネットワークは両方の場合に同じ確率を与える可能性がありますが、これら2つの場合を何らかの方法で区別したいのです。



そのため、上記を考慮して、ASRシステムは、録音がどれほどクリーン/ノイズが多いかを理解することができません。 しかし、これを理解することは重要です。なぜなら、記録が非常にうるさい場合は、彼に完全なナンセンスを認識して与えるよりも、もう一度要求するように依頼する方がよいからです。 録音の信頼度は機密性と呼ばれます。 フレーズの信頼性を判断することは、評価者が中程度の機密性を持つメモのみをマークできるようにするためにも役立ちます。 機密性の高いレコードはすでに十分に認識されており、低いレコードは単なるノイズですが、中程度のものはシステムにとって複雑な例であるため、最も有用です。 そして、音声認識システムに与えるより複雑な例は、より速く学習します（ここで人と同じように：彼が「2 + 2」を解くために絶えず与えられるなら、彼は積分を数えません）。



一般的に、機密性の判断の問題には、2つの関連するサブタスクがあります。

• 各単語の確実性の個々の決定、
• フレーズ全体の信頼度の決定。

最初のケースでは、分類のタスクは、単語を推測したか（クラス1）、または間違えたか（クラス0）です。 2番目の場合、タスクは回帰です。 はい、認識品質はWER（Word Error Rate）メトリックで測定されることを忘れていました。 したがって、2番目のケースでは、1-WERを予測しようとします。その後、フレーズ機密性と呼ばれます。 また、最初の問題を解決するのが得意であれば、平均的な単語ごとの機密性が1-WERの適切な推定値になるため、このタスクに主に焦点を当てたことも注目に値します。



おそらく、技術的な詳細はこれで終わったとすでに考えているでしょうか？ しかし、違います。 おそらくこれはそれほど機密情報ではないので、問題の最終的な解決策を一般的な用語で説明します。 単語単位の機密性のために、音響と言語の2種類の機能が使用されました。 音響特性の選択は、ニューラルネットワークの差別的な性質と戦う試みでした。 教育コーパス全体の統計（音素ごとの平均時間など）を収集し、特定のフレーズを認識するときに各単語について、そのパラメーターを統計的に平均したコーパスと比較しました。 これは差別を軽減し、外の世界に関する情報を提供しました。 n-gramの確率は、「緑の草」などのさまざまな矛盾を追跡するために、言語機能として採用されました。 最終的には、勾配ブースティングが設定され、出来上がりです-単語ごとの機密性があります！ 結果は非常に価値のあるものであることが判明しました。ベースライン（sMBR）に関連した品質成長の約25〜50％（モデルによって異なります）。 句の機密性を評価するために使用された機能は2つだけでした：平均の単語ごとの機密性と、ASRシステムが異なるときに与えたN個の最良の仮説の程度が非常に異なっていますファジィと彼女の彼女は素晴らしいでしょう）。



実験自体についてのいくつかの言葉。 必ずしもすぐにうまくいくとは限りません。 2つのサブタスクがありました。機能を考え出し、機械学習アルゴリズムを選択します。 試してみると、機能を備えたアイデアがたくさんあることがありますが、改善されるものはありません。 他の人を試しても、改善はありません。 研究タスクでは、これが頻繁に発生します。 忍耐と忍耐が必要です。 私は自分にはっきりと言った：あなたがしようとすると、何が起こり、決して落胆すべきではありません。 機能、バングバング、そして改善のように見えますが、実際にはこれは大変な作業と失敗した実験の束です。



結論として、イリヤ・エドレンキンは、「ムアンマー数」を打ち明けることを提案したことに注意します。 また、同僚が何かについて話しているときに、これらの言葉を定期的に聞いたのはとても面白かったのですが、聞いたと思うたびに。 そして、チームミーティングの1つで、「自信がすでに1か月間、Muammarの数字と呼ばれていることを知らないのですか？」と言われました。

Yandexでのインターンシップの長所と短所

マイナスについては、おそらく、2つのことに注意してください。 1つ目は、時々作業をする必要がないことです。 周りのみんながとても怒っていて自分の義務の一部を突き詰めたいと思っているので、これは起こりません。ただ単にこれをする人がいないからです。そして問題は重要です。 2番目のポイントは、Yandexのレベルに達した後、先へ進むインセンティブを失いやすいということです。 気に入らないチームに入れば、「これはヤンデックスです」



プロについて。 ご想像のとおり、私は信者なので、最初のプラスポイントは宗教的慣習を観察する能力です。 ヤンデックスでは、人々は信仰や政治的または他の信念ではなく、仕事がどれだけうまくできているか、そして仕事がより便利になるようにすべてを整えていることを大切にしています。 したがって、このようなデリケートな問題であっても、Yandexは前進する準備ができています。 五重の祈りには何の問題もありません。無料の会議室を見つけました-そして、頭の上に立っています。 しかし、それだけではありません。 多くの人が知っているように、すべての性的に成熟したイスラム教徒の男性は金曜日の説教に出席する必要があります。 したがって、私は自分自身のために明確に決めました：説教に出席する機会がなければ、そのような仕事は私に適していないでしょう。 スケジュールは柔軟性がありますが、偶然にも金曜日、正確には金曜日の説教の間に、毎週チーム会議が開かれたことがわかりました。 私はすぐに言った：イリヤ、ごめんなさい。しかし、現時点では特に出席できません。 驚いたことに、チームで1週間働いていなかったインターンのために、約10人（一部は父親として私にふさわしく、長年の経験がある）が都合の良い時間に会議のスケジュールを変更することに同意しました。 チームメンバーのこのような態度が心地よく、使い捨てであると言うことは言うまでもありません。



2番目のプラス：Yandexは、専門能力開発のための多くの機会を提供します。さまざまな科学セミナー、科学者の報告などに参加できます。 私もShAD会議に飛ぶことができました-しかし、これはルールというよりは例外です！ さらに、コンピューターサイエンスの分野での新しい知識の獲得は、あなたの仕事の一部です。 Yandexは、従業員のスマート化を望んでいます！ さらに、私は趣味があります-教育：まあ、私は人々に何かを教えるのが好きです。 一般的には質問ではない、とYandexは言う。ShADで教えてください-科学セミナーで話してください-喜んで！ 科学のトピックの続きで、私たちのチームでは、私の基準ではかなり多くの計算能力が各人に割り当てられていることに注意したいので、勤務時間外に自分の研究をしたいなら、旗はあなたの手にあり、誰もあなたを責めることはありません。



3番目のプラス：素晴らしいモスクワオフィスが快適な仕事を提供します。 注意するのは難しいことではありませんが、私はここではまったく十字架につけません-トピックは非常に有名です。

インターンシップ後の生活はありますか？

インターンシップだけが楽しくて楽しいものだと思う人もいるかもしれませんし、開発者になるとすぐに厳しい労働日が始まります。 これはそうではありません...いずれにしても、常にそうではありません！ たとえば、私の仕事のかなりの部分は、音声認識の分野からの科学記事を読むこと、修正と実装です。 ちなみに、これはチームを慎重に選択することを勧めるもう1つの理由です。これはひどく好きですが、他の人にとってはひどく退屈に思えるかもしれません。 あなたの顔に酸っぱい鉱山ではなく、笑顔で作業したい領域を選択してください！ 要約すると、繰り返します。Yandexでのインターンシップは 、夏にとって価値のあるレッスンです。 それは興味深い恒久的な仕事につながる可能性があります。