目に見えないものを数える：語彙を確実に決定する

Skyengでは、英語をゼロから教えることはめったにありません。 通常、すでに何らかの種類の知識を持っている人が私たちのところに来ますが、このセットは非常に異なる場合があります。 トレーニングが役立つためには、何らかの方法でこの知識の境界を決定する必要があります。 文法の場合、これが比較的単純な場合（方法論者との最初のレッスンで判明）、語彙の境界を明確にすることは最も簡単な作業ではありません。 それを解決するために、WordMashツールを開発して起動しました。

語順

単語の暗記は、外国語を教える主要な要素の1つであり、学生のほとんどの時間と労力を費やします。 ただし、英語を含むすべての言語の単語は同等ではありません。 より一般的（歩行vs歩行）; 覚えやすい（プロセスvs成長）ものもあれば、学生が常に仕事に取り組んでいる、または興味があるためです。 最も効果的なカリキュラム（具体的な結果をできるだけ早く提供する）を構築するには、これらの要因を考慮する必要があります。

新しい単語を効果的に学習し、古い単語を記憶に残すためには、生徒の語彙（語彙）を判別できることが重要です。 従来のアプローチは、コミュニケーションとテストに基づいて教師の語彙を直感的に決定することです。 ただし、このようなアプローチは、教師の経験と資格に完全に基づいており、客観的に監視することはできません。

学生に知られているすべての単語を決定するための理想的な方法は、「私は知っている」と「わからない」という2つの可能な答えを持つ言語辞書全体のアンケートです。 そのような方法を実装することはほとんど不可能であることは明らかです。数週間続けて質問に答えることをいとわない学生はほとんどいません。

したがって、言語のすべての単語から、複雑さによって順序付けられたリストを十分に確立できるという仮定に基づく方法は、それ自体が証明されています。 最初は「単純な言葉」、たとえば子供たちが人生の最初の段階で学ぶ言葉、「お母さん」、「お父さん」、「良い」、「悪い」などです。 最後に「複雑な」単語があります-専門用語、アーカイズム、地元の方言など。 単純化された場合、この順序付きリスト内の単語を知っている人は、このリスト内の前の単語をすべて知っていると想定されます。 ある単語を知らない人は、それ以降の単語も知りません。 したがって、理想的なケースでは、人の語彙を評価するには、彼の知識の境界の位置、つまり彼が知っている最後の単語の数を決定する必要があります。

理想的な場合の順序付きリストの単語の知識の近似グラフ。 「知識」の境界は、生徒の語彙のサイズを正確に決定します。

残念ながら、さまざまな人々の実際の語彙は異なるため（もちろん、ゼロでない限り）、このような理想的な単語の配置は不可能です。 単語の学習は、上から誰かが承認したリストに従って順番に行われるのではなく、選択されたプログラム、教師、生徒の個人的および職業上の関心の影響を受けます。 そのため、数学者と医師はそれぞれの分野の用語を知っていますが、彼らの分野ではない用語を認識していません。 彼らは言葉「複雑」と「癌」の複雑さをさまざまな方法で知覚します。

したがって、単語の平均的な順序について話すのは理にかなっています。 この場合、明確な境界線の概念はありません。学生は、1000番の単語を知っており、1001番の単語を知らず、再び1002番の単語を知っています。 実際の状況を説明するには、次のアプローチを検討するのが理にかなっています。

複雑さでランク付けされたリスト内の単語を間隔（たとえば、100単語）に分割し、各間隔について、この間隔から学生が知っている単語の割合を決定します。 結果は、比較的滑らかな曲線になります。 単語の数がわかれば、グラフを使って、学生が彼を知っている確率を知ることができます。 この関数では、中央値、つまり前の未知の単語の数が後の既知の単語の数と等しくなるような単語数を決定できます。 この中央値は、境界の類似体の役割を果たし、学生の語彙を数値的に特徴付けます。

1つの問題ではないにしても、見た目は素晴らしいですが、実際には、複雑さの順に並べられた単語のリストをどのように準備するのでしょうか。

学生が単語を知る確率の単語数に対する特性依存性 赤い垂直線は中央値分布を示しています。

英国コーパス頻度分析

単語の平均統計的複雑度は、その有病率（頻度）に直接依存するという理論があります。 実際、学習プロセスで単語に出くわすほど、学習速度が速くなります。 したがって、テキストの本文にあるすべての単語の頻度を分析することにより、単語の順序付きリストを作成できます。これは、言語のさまざまなテキストの特別に選択および処理されたセットです。

したがって、私たちは、英国国立コーパスの周波数分析を実施することから始めました。 本文には、書かれたテキスト（本、記事、文書）、口語（会話、録音、映画の書き起こし）、およびレポート、アピール、スピーチからの引用が含まれます。 これらの3つのサブケースはボリュームが異なりますが、生きた言語の分析にとっても同様に重要であるため、頻度を計算する際に、結果全体の「重み」が等しくなりました。 次に、頻度が計算され、サブボディによって正規化が実行されました（3つの結果が平均されました）。 リストからの抜粋と、頻度と単語数のグラフを次に示します。

ワード番号	言葉	頻度（10億語あたり）
1	その	61 674 367
2	なる	35 206 532
470	リーダー	2 420 806
5175	千年	11 433
49818	無視できるほど	67

単語の頻度のリスト内の数への依存。 リストの先頭は、 Zipfの法則 （赤線）で十分に説明されていることがわかります。

複雑性の概念の主観性

テキストのコーパス内の単語の頻度が人々のグループの語彙の相対的な順序とよく一致しているという声明は、このグループがこれらのテキストのアクティブな読者およびプロデューサーである場合にのみ有効です。 言い換えれば、英国軍団は、主に英国人の語彙の順序を反映しており、他の英語圏の社会、そして最後に大事なこととして、英語を勉強しているロシア語圏の学生の語彙の順序を反映しています。

このような矛盾の重要な例は、ギリシャ語、ラテン語、または他の起源の単語であり、英語とロシア語で同様の形式を持っています。 例：

英単語	ロシア語
分析	分析
一瞬	一瞬
情報	情報
哲学	哲学
気管支炎	気管支炎
医者	医者

合計で、5000以上のそのような単語を割り当てました。 2つの言語のフォームにこのような類似性があるのはなぜですか？ 学生が多かれ少なかれ英語を読むことができれば、単語の意味を推測することは簡単になりますが、教えたことはありません（もちろん、これが雑誌のような「翻訳者の偽の友人」でない限り）。

この効果は受動辞書のサイズにプラスの効果をもたらすが、実際には能動辞書とは関係がないことに注意してください。 一方で、学生はロシア語の単語が英語で同様の翻訳を持っているかどうかを前もって知ることを保証されません、そして他方では、しばしば音声学と綴りが著しく異なります。 それにもかかわらず、これらの単語の研究は、英語に「ネイティブ」であるアングロサクソン起源の補題に匹敵することはできません。

英語のネイティブスピーカーの単語の頻度リストの分析でさえ、場所と時間への強い依存を示しています。 たとえば、1978年から79年にかけてオーストラリアの学童の最も頻繁に使用される単語を示す有名なソールズベリー語リストと、30年後のオーストラリアの学童の語彙の研究であるオックスフォードワードリストを比較すると、消費主義：購入、新規、買い物、欲求、技術。それ以前は、ほとんどの頻度の言葉は家族やレジャーのトピックに当てられていました。

こうしたことから、リストは頻度でのみ並べ替えられているため、ロシア語を話す学生に英語を教えるという目的には不十分であり、WordMashプロジェクトの立ち上げにつながったと確信しました。

Wordmashプロジェクトのカスタムページ。2語のユーザーが自分の意見でよりシンプルなものを選択します。

スマートランキング

WordMashは、実在の人々、つまり生徒による個々の語彙単位の複雑さの主観的な認識に基づいて、辞書をさらに分類するためのツールです。 システムが提案する2つの単語のうち、ユーザーは自分の意見では最も単純なものを選択します。 同時に、 Eloレーティングシステムを使用してリストを整理します。 もともとチェスに登場していたこのシステムは、GoからMagic the Gatheringまで、多くのゲームやスポーツで使用されています。

その本質は、各ミーティング（試合）後にプレーヤーの評価が変化する値が可変であることです。 それは各ライバルの最初の格付け（勝利の確率）に依存します。 明らかに強いプレーヤー（グランドマスター）が明らかに弱い（ビギナー）を倒すと、勝者が受け取り、敗者は最小数のレーティングポイントを失い、極端な場合はゼロになる傾向があります。 逆に、同じ状況でグランドマスターが負けた場合、彼は格付けのかなりの部分を失います。 このように、評価が高いほど、それを上げるのが難しくなり、失うのは簡単になりますが、才能のある初心者は十分に迅速にスキルの適切な評価を達成できます。

最初は、すべての単語について、初期評価は頻度の対数として計算されました。

次に、i番目の単語とj番目の単語の比較が行われた場合、i番目の単語が採点したポイントの数が書き出されました。 、i番目の単語がj番目（勝利）より単純であることが判明した場合は1に等しく、0-i番目の単語がより困難であることが判明した場合（損失）、0.5-ユーザーが回答を失う（描画）場合は0.5 保存されたポイントの量： 。 現在の評価に基づいて、i番目の単語が獲得したポイント数の予想が計算されました。

最後に、新しい単語の評価が計算されます。

したがって、ランキングで最も単純な単語が上昇し、逆に複雑な単語は省略されます。

特定のサイズのユーザーベースを使用した同様の手法は、ノイズの結果に対して耐性があることに注意してください。 言い換えれば、1人のユーザーの回答に基づいて取得された単語の評価は信頼できるとは見なされませんが、プログラムへの参加者の数が増えると、その信頼性は常に向上します。

メソッドの信頼性をテストするために、異なるレベルの言語知識を持つ16人のボランティアで実験を行いました。 彼らは、元の頻度リストの最初の8千語のリストを与えられ、そこで彼らは知っていた言葉を書き留めました。 各単語について、その単語に精通している人の割合を計算し、上記の間隔法を使用して、「平均的な人」という単語の知識の累積分布を構築しました。 この分布は非単調であることが判明しました。以下のリストの一部の単語は、上記のリストの単語よりも単純であることが判明しました。 85万回の比較の後、この曲線は少し滑らかになりました。

ソート品質のメトリックが構築されました：曲線が単調になるために単語のリストで実行する必要がある順列の数（順列が少ないほど良い）。 以下のグラフは、このメトリックが行われた比較の数にどのように依存するかを示しています。

ユーザーによるペアごとの単語比較でデータを蓄積するプロセスでの単語の並べ替え（メトリックドロップ）が改善されました。 ソートの改善は、WordMashメソッドが機能し、目的の結果が生成されることを示しています。

残念ながら、他の多くの方法と同様に、WordMashは最初の並べ替えで最も効果的ですが、より正確な結果を得るには、より多くの比較が必要です。 外挿の結果として、必要な比較数（100万のオーダー）の推定値を得ました。

独自の方法でこのような多くの比較を行うことはできないため、ボランティア向けのツールをhttp://tools.skyeng.ru/wordmashで公開しました。 これを行うには、「お気に入りのボタン効果」または単にユーザーの疲労だけでなく、甘やかすことの結果として発生する可能性があるランダムな結果を選別するための追加のアルゴリズムを考えなければなりませんでした。 このようなランダムな結果が一定数データベースに漏れることはありますが、調査の規模を考慮すれば、統計誤差の範囲内に収まります。

学生の語彙の定義

WordMashツールの結果を入手することで、生徒の語彙の量を正確に判断できます。これにより、生徒向けの教材をより正確に選択できるようになります。 次に、このボリュームの成長グラフは、良い動機付け要因として、またトレーニングの有効性の指標として機能します。 ボキャブラリーを決定するには、 Test Your Vocabularyに似たツールを使用しますが、WordMashの単語の複雑さのベースが変更されています。

ランク付けされたリストの範囲全体を対数的に一様にカバーするいくつかの単語を尋ねる最初の反復で、中央値法により近似境界を見つけます。 2回目の反復では、おおよその境界の近くにある単語を要求して、この境界を調整します。

対数的に分布する量の場合、境界を決定する中央値の方法をわずかに変更する必要があることに注意する必要があります（単語密度を調整）。 単語番号 対数的に均一に分布する： ここで、k = 1、2、3など。 でも -絶えず、学生の答えがありました 、単語を知っている場合は1に、知らない場合は0になり、境界の境界は次のようになります。

単語をランク付けし、生徒の語彙を決定するツールのおかげで、エコシステムをうまく補完するサービスを作成することで学習を改善できます。たとえば、テキストのヒートマップ（生徒が色付きの単語を知る確率を指定）またはWordSet Generator（学習用の単語リストを作成するツール）特定のテキストと学生レベルに基づいて）。 複雑さの観点からかなり真実な単語のリストがあるため、特定の学生のニーズに合わせてレッスンを微調整して、興味深い（新しい有用な情報を含む）ようにし、過度に複雑にならないようにします（テキストに20を超えるなじみのない単語がある場合）。

Galaxy Douglas Adamsのヒッチハイクガイドの結果を含むWordset Generatorツールのプロトタイプ



WordMashツールが起動し、100万回の比較の必要なベースを収集し 、読者に実験への参加を求めています。 空き時間がある場合は、サイトにアクセスし、カーソルキーを使用して単語のペアを評価してください。 合計1万ペアが提供されますが、それらはすべてオプションであり、各比較後にデータを保存します。

ここでHabréのコメンテーターを聞いて、WordMashをオープンにしました。単語を比較するために、登録する必要はなく、Cookieを使用して進行状況が保存されます。 それでも、比較にかなりの時間を費やすつもりがある場合は、まず個々の統計を保持するために登録し、次に感謝して無料レッスンを誰に提供するかを登録することをお勧めします。 さらに、登録により、比較の履歴が消えないことを保証できます。 将来の分析のために結果を保存し、パターンを特定し、個々のトレーニングプログラムの微調整を行います。