ロシアでは、監督という言葉はまだよく知られていません。 この形式の機能と編成方法について明確な考えはありません。 古典的な意味では、試験監督は、遠隔観察者（試験監督）が試験のコースを監視する際に結果の信頼性を高めるために、オンライン試験の遠隔サポートと被験者の性格の検証のための手順です。
もちろん、資格のあるオブザーバーの存在は状況を大幅に改善します。 監督者は生徒の身元を確認し、ウェブカメラを介してオンラインテスト手順に従うことができます。 ただし、後で説明するように、従来の監督形式には多くの制限があります。 オンライン試験の分野における最後の言葉は、監督官の機能を部分的または完全に自動化するシステムの開発です。 自動化により、生きているオブザーバーを支援し、作業の効率を高めることができるだけでなく、場合によっては監督者を置き換えることもできます。
私は、ProctorEduでオンライン試験をリモートでサポートする自動システムを開発および実装しています。 このシステムにより、監督機能を部分的または完全に自動化でき、オンライン学習プラットフォームなどの他のシステムと統合できます。 過去1年間、私たちはこの分野で大幅に進歩し、共有したい経験を積むことができました。
最初に、オンラインで合格するリモート試験の手順を監督者が監視する従来のスキームを詳しく見てみましょう。 通常、監督者は一度に最大9人の生徒に同行できます。 監督者の職務には以下が含まれます。
- 被験者の身元確認は通常、学生がウェブカメラに表示する身分証明書の写真を使用して、人の顔を視覚的に確認することです。
- 試験中に学生を監視し、試験合格、不正行為またはその他の不正行為のルール違反の可能性を追跡します。
このタイプの監督は通常、同期と呼ばれます。 監督者と生徒はある時点でオンラインになっています。 別のオプションは、非同期の監督です。 この場合、学生は個性と試験自体の検証に独自に合格しますが、試験中の彼の行動とカメラとコンピュータでのすべての行動は記録されます。 次に、監督者はビデオを見て、試験で得られた結果の信頼度を評価します。
これらのオプションはどちらも非常に有効であり、試験結果の信頼性を高め、身元の変更から身を守ることができます。 しかし、それらには多くの欠点があります。
- パフォーマンス（スケーラビリティ）は、オンラインになるかビデオを見るプロクターの数に直接依存します。
- 非同期試験の場合の試験評価時の遅延、ビデオを見るのに時間が必要です。
- 監督官の1時間の作業コストは比較的高く、試験が多いほど、より多くの監督官が仕事に関与しなければなりません。
- 多数の監督者の仕事を整理する複雑さ。
- 人的要因-監督者の悪意や選択性が品質に影響を与える可能性があります。
これらの欠点を解消するには、オンライン試験のサポート費用を削減し、結果の処理速度を上げることで、監督機能の自動化が可能になります。 部分自動化は、試験官が多数の試験を処理するのに役立つように設計されており、最も疑わしい点または試験官の注意が必要な点を示します。 これにより、監督官の仕事をスピードアップし、その結果、監督官の数を減らすことができます。 完全自動化により、試験に伴う試験監督者を完全に除外することが可能になりますが、技術開発のこの段階では、このオプションは依然として品質の面で人間の作業レベルに達しません。 完全に自動化されたシステムの精度は、監督者が参加する場合よりも低くなることがあるという事実にもかかわらず、場合によっては、特に価格/品質比の選択がコスト削減と速度向上の必要性を上回る場合、このオプションは完全に正当化されます。
監督システムの実装は技術的に難しいため、ほとんどのオンライン学習プラットフォームの一部ではありません。 個別に開発された監督システムは、そのようなプラットフォームと統合され、欠けている機能を追加します。
何を達成しましたか？ オンライン学習プラットフォームで試験に合格するためのスクリプトが開発されました。これは、監督者の直接参加を必要としませんが、受動的観察やプロセスへの干渉さえ排除しません（テキスト、オーディオ、ビデオ形式） 最初は、このシナリオは長く、学生（コースリスナ）とオンライン学習プラットフォームおよび監督システムとの間の少なくとも9段階の対話が含まれていました。 試験を開始するためには、監督システムで少なくとも4つの段階を手動で実行する必要がありました。接続の確認、顔の写真、文書の写真、監督官による身元の確認です。 さらに、オンライン学習システムと監督システムの両方と交互にやり取りする必要がありました。 これはすべて、各学生が通過する必要がある探求を連想させ、主催者に多くの質問を提起しました。
徐々に、個々の段階の自動化とオンライン学習プラットフォームとの統合方法の変更により、このパスは減少しました。 学生の試験に合格するためのシナリオは次のとおりです：学生はオンライン学習システムのWebサイトにアクセスし、試験を開始し、任意の形式（試験、タスク、仮想実験室など）で試験に合格し、試験を完了して結果を取得します。 言い換えると、学生にとって、オンライン学習システムで試験に合格するためのシナリオは変更されず、試験の開始時に試験官システムが自動的に接続し、試験全体を通して学生を監視し、試験の完了時に作業を終了します。 シンプルに見えますが、すべての複雑さは学生から隠されています。
オンライン学習システム（LMS）試験シナリオへの監督機能の埋め込み
各ステージの詳細：
- 学生がLMSで開く試験は、試験監督システムに自動的に登録され、LMSの学生のアカウントにリンクされます。 学生はすでにLMSで認証されているため、監督システムでの認証は、学生が気付かないうちにトークンによって自動的に行われます。
- 試験を開始する前に、ユーザーのコンピューターとネットワークが最小システム要件を満たしているかどうか自動的にチェックされます。 問題が見つからない場合、手順は数秒かかり、その後、ステージは生徒に気付かれずに通過します。 初めて、生徒はウェブカメラとマイクにアクセスする許可を求められます。
- 接続を確認した後、学生のバックグラウンド監視が開始され、データが継続的に収集および分析されます。 生徒の行動に異常がある場合、生徒が訂正できるように通知が発行される場合があります。
- 試験の最初の1分間で、個人の顔の継続的な検証のサブシステムは、顔認識方法を使用してトレーニングされます。 その後、システムは試験中にコンピューターでIDの変更の事実を追跡するために、生徒の顔を自動的に監視します。 これに加えて、本人確認はキーボード手書きを使用して実行されます。 アルゴリズムは、最初の100文字のセットで学習し、新しいデータで再トレーニングするように機能します。 この検証方法は、プログラミングタスクなど、回答としてテキスト入力が必要なタスクで使用できます。 テキストは任意の言語で入力でき、アルゴリズムは入力言語を考慮しません。
- 試験の最初の数分で行われる顔による性格検証のサブシステムを学習した後、生徒の顔の写真が保存され、現在の試験に添付されます。 アルゴリズム自体がビデオストリームから最適な写真を選択するため、学生が直接参加しなくても、常に顔の最高品質の写真を取得できます。
- 試験後、結果は数分間処理した直後に利用可能になります。
この場合、監督者の手順は学生の試験に合格するためのシナリオをほとんど変更せず、すべての機能は学生の介入を必要とせずにバックグラウンドで機能します。 学生は、システムを初めて操作するときにのみ、ブラウザでウェブカメラとマイクにアクセスする必要があります。
次に、試験中に不正行為を検出するためのサブシステムがどのように機能するかをさらに詳しく説明します。
不正行為の自動検出のためのサブシステムの構造
試験を通して、コンピュータの動作の追跡、顔と声の検出、生体認証など、動的インジケータのデータが自動的に収集されます。 収集されたデータは分析および処理され、その後、0〜100％の試験合格の品質の自動評価が形成されます。 生成された評価に基づいて、事前定義された基準に基づいてセッションの結論を自動的に設定できます。
主な重点は、試験に合格するために、通常持っているものに加えて、ウェブカメラ、マイク、キーボード、スクリーンなどの特別な機器を必要としないという事実です。 次のイベントのデータが収集されます。
- フォーカスがサードパーティのアプリケーションまたはタブに切り替えられます（b1）。
- 試験ページは全画面に展開されません（b2）。
- カメラの前に顔がない（c1）;
- カメラの前にいる許可されていない人（c2）;
- カメラの前の正体不明の顔（c3）;
- ミュートされたマイクまたは低音量（m1）;
- バックグラウンドでの会話または騒音（m2）;
- キーボードの手書きが認識されない（k1）;
- セッション中の生徒はいません（n1）。
試験の品質の自動評価は、次の式で計算されます。
、
ここで、Nは試験の分数、x1、x2、... xkは評価されたパラメーターのデータ（パーセント）、Eは合格した試験の品質の評価（パーセント）です。 関数f（x）は、最も重要なイベントを選択する方法を説明しています。 関数f（x）の例：
- イベントの最大割合：
; - イベントの加重平均パーセンテージ：
。
したがって、評価は、学生が試験を開始してから試験が完了するまで、試験全体で記録された最も重要なイベントの平均割合を示します。 1分あたりのイベントの割合が特定のしきい値を超えると、違反が記録されます。
そして、イベント追跡サブシステムの操作を示すビデオがあります：
試験監督手続きに合格した各試験には、0〜100％の自動評価、生徒の顔の写真、ウェブカメラと画面からのビデオを含むインタラクティブプロトコル（オプション）、記録されたイベントの詳細、その他の試験データが含まれます。
保存された情報には個人データは含まれません。試験中、カメラでドキュメントを表示する必要はありません。また、保存された人物の写真はGOST R ISO / IEC 19794-5-2006に準拠していないため、生体認証データとは見なされません。
証明書、証明書、卒業証書を発行するとき、トレーニングプログラムの終了に成功した学生のみの身元の確認が実行されるため、全体的な作業量が削減されます。 学生の身元を確認するために、教育機関は学生に必要なデータを要求し、試験ごとに監督システムによって保存された人物の写真と身分証明書の写真を比較できます。 文書上の顔の写真を比較する手順はまだ自動化されていません。
要約すると、遠隔試験の遠隔学習技術が、身元の確認とそのような試験の結果の確認とともに発展していることを付け加えたいと思います。 私たちの国が教育技術を開発し、外国の世界のリーダーと競争できるようになりたいです。 まだやるべきことがたくさんあります。