DeepHack.Babel Hackathon Open Science School

新しい年の前に、機械翻訳のハッカソンが必要な理由について話しました 。 来週、選択に合格した50人の参加者がドルゴプルドニーに来て、非並行データに関するシステムのトレーニングに参加します。 多くの時間のブレーンストーミングに加えて、科学学校は解決策を見つけるのを助けます- 機械翻訳の世界の主要な専門家からの一連の講義 。 ハブル、面白いパフォーマンスをご覧ください！ それらは1月29日から2月4日までPhysTechで開催され、 登録することを忘れないでください。 凍りつくような冬の夜に家を出たくない場合は、DeepHackチャンネルで放送を見ることができます 。



「注意が必要なのはすべて」

Ilya Polosukhin 、スタートアップNear.AIの創設者および元Google従業員

1月30日20時30分



今日、自然言語処理の多くは、エンコード/デコードスキームの畳み込みモデルとリカレントモデルに依存しています。 最も成功したモデルは、アテンションメカニズムを介してデコーダーをエンコーダーに接続します。 Near.AIのスタートアップであるIlya Polosukhinの創設者の1人が、Googleで取り組んだ画期的な機械翻訳モデル「Transformer」について語ります。 これはアテンションメカニズムのみに基づいて構築されたシンプルなネットワークアーキテクチャです。 経験が示すように、ニューラル機械翻訳を使用した実験は、以前に提案されたリカレントモデルと比較して、トレーニングの大幅な節約を伴う翻訳の品質の向上を示しています。



「読解のための深層学習」

ルスラン・サラクディノフ （カーネギーメロン大学）

2月2日、19：00



カーネギーメロン大学の機械学習の助教授であるRuslan Salakhutdinovは、テキストを理解するためにディープラーニングを使用することについて話します。 彼の研究は、大量のデータの構造を検出することを可能にする計算と統計の原理を理解することを目的としています。





「ニューラル機械翻訳」

ギョンヨンチョー （ニューヨーク大学＆Facebook）

2月2日17時30分



ニューヨーク大学のコンピューターサイエンスおよびデータサイエンスの上級講師であり、 Facebook AI Researchの研究員であるチョ・キョンヒョンが、神経機械翻訳の分野での過去2.5年間の研究について語ります。 注意メカニズムのニューラル機械翻訳の概念を出発点として、慶永町は多言語翻訳、検索エンジンに基づくノンパラメトリックニューラル機械翻訳、および教師なしの機械学習にも触れます。 彼はまた、非自己回帰神経機械翻訳や訓練された貪欲なデコーダーなど、研究室での現在の仕事について簡単に話します。



ニューラルイージーファーストタガー

アンドレ・マーティンズ 、Unbabel Inc.のリスボン事務所の研究員

2月4日11:00



アンドレ・マーティンズは、ニューラルイージーファーストタガーと呼ばれる新しいワードプロセッシングモデルに関する最近の研究について説明します。 このモデルは、シーケンスのマークアップの問題を解決するように訓練されています。たとえば、テキスト内の単語の文法的および語彙的特徴に注釈を付けます。 このモデルは、シーケンス内のオブジェクトの順序に関係なく、シーケンスをマークアップする問題を解決します。 デコーダーは、数回の反復で予測の「スケッチ」を更新します。 彼の仕事は、受信したデータのどの部分が次に処理するのに戦略的に有益であるかを決定するアテンションメカニズムに基づいています。 シーケンスの問題を解決する場合、このモデルは、長期短期メモリ（BILSTM）を備えた双方向ネットワークを使用するタガーよりも優れています。