Stepic教育プラットフォームのオンラインコース「Introduction to Linux」に関する記事では、このコースで最初に適用された新しいタイプのインタラクティブタスクの技術的な実装についてお話しすることを約束しました。 このタイプのタスクを使用すると、ブラウザウィンドウで直接Webターミナルを介して作業するために、Linuxでオンザフライの仮想サーバーを作成できます。 自動チェックシステムがタスクの正確さを監視します。



コースからの割り当ての例：

---

---

この記事では、Stepicの新しいタイプの割り当ての基礎を形成したプロジェクトについてお話したいと思います。 また、システムの構成要素、コンポーネントの相互作用、リモートサーバーの作成方法と場所、Web端末と自動検証システムの動作についても説明します。

ひらめき

私は、仕事を探すときに、履歴書を書いたり、IT企業に何十もの動機付けの手紙を書いたりして、HRスペシャリストのフィルターを突破し、最終的に彼らからの面接への大事な招待状を受け取ることを好まない人の1人です。 もっと自然に、あなた自身について称賛に値する言葉を書く代わりに、日常の問題を解決することであなたの本当の経験とスキルを示してください。



2012年、Matmekh SPbUの学生だった頃、後にHackerRankプロジェクトに発展したInterviewStreetプロジェクトに触発されました。 IT企業がオンラインプログラミングのコンテストを実施できるプラットフォームを開発しました。 このような競争の結果に基づいて、企業は最高の参加者を面接に招待します。 採用に加えて、HackerRankプロジェクトの目標は、アルゴリズム理論、人工知能、機械学習など、コンピューターサイエンスのさまざまな分野の問題を解決することで、誰でもプログラミングスキルを開発できるサイトを作成することでした。 すでにプログラマーのための競争が行われた他の多くのプラットフォームがありました。 CodecademyやCode Schoolなどのインタラクティブなオンラインプログラミング学習プラットフォームは、積極的に人気を集めています。 その時までに、Linuxシステム管理者としての十分な経験があり、システムエンジニアの採用、Linux管理コンテストのホスト、およびこの分野の実際の問題を解決するシステム管理のトレーニングのためのリソースを簡素化するための同様のリソースを探していました。



同様のプロジェクトを徹底的に検索した結果、エジンバラ大学で学術目的のために設計されたLinuxZooのみが見つかりました。 ネイピア（エジンバラネイピア大学）。 また、ギルドによる購入後にすでに放棄された、非常に成功した野心的なCoderloopプロジェクトのプロモーションビデオに目を留めました。 このビデオでは、私が夢見ていたものを正確に見ました。 残念ながら、システム管理に関するインタラクティブな演習を作成するためにCoderloopが開発したテクノロジーはリリースされていません。 Coderloopプロジェクトの創設者の一人とのやり取りの間に、私は多くの親切な言葉を受け取り、このアイデアの開発とさらなる発展を望みました。 私のインスピレーションには限界がありませんでした。 それで、私はRoot'n'Rollプラットフォームの開発を開始し、ほとんどすべての暇な時間にそれを費やし始めました。

ルートンロールの目標

このプロジェクトの主な目標は、トレーニング、コンテストの実施、システムエンジニアの募集のための特定のリソースを作成することではなく、これらの分野のいずれかを構築および開発するための基本的な技術プラットフォームを作成することでした。



基本プラットフォームの主要な要件は次のとおりです。

• 最小限のLinuxシステムで可能な限り迅速かつ安価に数百または数千の仮想マシンを実行できるようにすること。これは、ルート権限を持つユーザーによって安全に破損する可能性があります。 安価とは、仮想マシンごとに消費されるシステムリソースの量を最小限に抑えることを意味します。 実質的な予算がないことは、「1つの仮想マシン」=「1つのクラウドインスタンス」の原則に基づいて、Amazon EC2やRackspaceなどのクラウドホスティングの使用を拒否することを意味します。
• ブラウザウィンドウでWebターミナルを介して仮想マシンを直接操作できます。 これには外部プログラムは不要で、Webブラウザのみが必要です。
• 最後に、仮想マシンの構成をテストするためのインターフェースを用意します。 構成のテストには、ファイルシステムの状態の確認（必要なファイルがその場所にあるかどうか、内容が正しいかどうか）、およびサービスとネットワークアクティビティの確認（一部のサービスが実行されているか、正しく構成されているか、正しく応答しているか）の両方を含めることができます特定のネットワーク要求など）。

これらの要件はすべて、ある程度まですでに実装されています。 まず最初に。

仮想マシンの起動

仮想マシンを起動するには、まず仮想化テクノロジーを決定する必要がありました。 ハイパーバイザー仮想化のオプション：ハードウェア（KVM、VMware ESXi）および準仮想化（Xen）-すぐに消えました。 これらのアプローチには、システムリソース、特にメモリに対するかなり大きなオーバーヘッドがあります。 マシンごとに独自のカーネルが起動され、さまざまなOSサブシステムが起動します。 このタイプの仮想化には、専用の物理サーバーも必要です。さらに、非常に優れたハードウェアを備えた数百台の仮想マシンを実行したいという要望もあります。 明確にするために、LinuxZooプロジェクトで使用されるサーバーインフラストラクチャの技術仕様を確認できます。



さらに、オペレーティングシステムレベルの仮想化システム（OpenVZおよびLinux Containers（LXC））に焦点が当てられました。 コンテナ仮想化は、隔離されたchroot環境でプロセスを実行することと非常に大まかに比較できます。 ハブを含むさまざまな仮想化システムの比較と技術的特性について、すでに多数の記事が執筆されているため、実装の詳細にとどまりません。 すべてのコンテナがホストシステムの1つのコアを共有するため、コンテナ化には完全仮想化などのオーバーヘッドはありません。



仮想化の選択に間に合うように、私はなんとかオープンソースに入り、LXCコンテナーを作成および管理するためのツールと環境を提供するDockerプロジェクトについて名前を付けました。 Dockerを実行するLXCコンテナー（以降、Dockerコンテナーまたは単にコンテナーと呼びます）を実行することは、Linuxでプロセスを実行することに匹敵します。 通常のLinuxプロセスのように、コンテナは事前にRAMを予約する必要はありません。 メモリーは使用時に割り当てられ、クリアされます。 必要に応じて、コンテナで使用されるメモリの最大量に柔軟な制限を設定できます。 コンテナの大きな利点は、メモリページ（コピーオンライトメカニズムや共有ページを含む）を管理するために共通のホストサブシステムを使用してメモリを制御することです。 これにより、コンテナの密度を高めることができます。つまり、ハイパーバイザー仮想化システムを使用する場合よりもはるかに多くのlinux-machinesのインスタンスを実行できます。 これにより、サーバーリソースの効率的な利用が実現します。 Amazon EC2クラウドのマイクロインスタンスでさえ、内部にbashプロセスがある数百のdockerコンテナーの起動を簡単に処理できます。 別の素晴らしいボーナスは、コンテナを起動するプロセスがミリ秒かかることです。



したがって、一見しただけで、Dockerは多数のマシン（コンテナー）を起動する問題を安価に解決しました。そのため、最初の概念実証ソリューションについては、それに専念することにしました。 セキュリティの問題は別の議論に値するので、今は省略しましょう。 ところで、Coderloopの連中は、演習でLXCコンテナを使用して仮想環境を作成しました。

コンテナ管理

Dockerは、コンテナーを作成および実行するためのソフトウェアRESTインターフェースを提供します。 このインターフェイスを介して、Dockerサービスが実行されている同じサーバー上にあるコンテナのみを管理できます。



一歩先を見ると、水平方向に拡張できること、つまり、1つのサーバーではなくすべてのコンテナーを起動するが、それらを複数のサーバーに分散できると便利です。 これを行うには、Dockerホストの集中管理と、複数のサーバー間で負荷を分散できるスケジューラが必要です。 スケジューラーを持つことは、サーバーの保守中（例えば、再起動が必要な更新のインストール中）に非常に役立ちます。 この場合、サーバーは「稼働中」としてマークされ、その結果、新しいコンテナーは作成されません。



集中制御システムの追加要件は、コンテナのネットワーク設定とシステムリソース（プロセッサ、メモリ、ディスク）のクォータ管理です。 しかし、これらの要件はすべて、クラウド（ IaaS ）によって正常に解決されるタスクに他なりません。 2013年夏に、DockerをOpenStackクラウドプラットフォームに統合することに関する投稿がDocker開発者からリリースされました。 新しいnova- dockerドライバーにより、openstackクラウドを使用して、ドッカーホストの艦隊を管理できます：コンテナーの起動、ネットワークの強化、システムリソースの消費の監視とバランス-まさに必要なもの！



残念ながら、今日でも、nova-dockerドライバーはまだかなり粗雑です。 多くの場合、openstackの最新の安定バージョンとさえ互換性のない変更があります。 独立した安定したドライバブランチを個別に維持する必要があります。 また、パフォーマンスを改善するためにいくつかのパッチを作成する必要がありました。 たとえば、1つのDockerコンテナのステータスを取得するために、ドライバーは実行中のすべてのコンテナのステータスをリクエストしました（N個のhttpリクエストをdockerホストに送信します。Nはすべてのコンテナの数です）。 数百のコンテナが起動された場合、ドッカーホストに不要な負荷が作成されました。



多少の不便はありますが、私の場合、コンテナオーケストレーターとしてOpenStackを選択することには価値があります。仮想マシン（コンテナー）と単一のAPIを備えたコンピューティングリソースの集中管理システムが登場しました 。 単一のインターフェイスの大きな利点は、 KVMに基づいた本格的な仮想マシンのRoot'n'Rollサポートを追加しても、プラットフォーム自体のアーキテクチャとコードを大幅に変更する必要がないことです。



OpenStackの欠点のうち、プライベートクラウドの展開と管理のかなり高い複雑さのみに注意することができます。 少し前に、OpenStackの単純化された代替案であるVirtkickプロジェクトが発表しました。 開発が成功することを楽しみにしています。

Web端末の選択

Root'n'Rollプラットフォームの要件をコンパイルする初期段階でさえ、まず最初に見たかった主な機能は、ブラウザーのWebターミナルウィンドウを介してリモートLinuxサーバーを操作できることでした。 開発が開始されたのはターミナルの選択、またはプラットフォームの技術的ソリューションの研究と選択でした。 Webターミナルは、システム全体でユーザーのほとんど唯一のエントリポイントです。 これがまさに彼が最初に目にするものであり、彼が取り組んでいるものです。



当時、Webターミナルを使用した数少ないオンラインプロジェクトの1つはPythonAnywhereでした 。 彼は私が定期的に見た標準になりました。 現在、ターミナルを見ることができる膨大な数のWebプロジェクトとクラウド開発環境が登場しています： Koding 、 Nitrous 、 Codebox 、 Runnableなど。



Webターミナルは、2つの主要部分で構成されています。

• クライアント：キーストロークをインターセプトしてサーバーパーツに送信し、サーバーパーツからデータを受信して​​、ユーザーのWebブラウザーでレンダリングする動的なJavaScriptアプリケーション。
• サーバー側：クライアントからキーストロークに関するメッセージを受信し、bashなどの端末プロセスに関連付けられている制御端末デバイス（ 擬似端末またはPTY）に送信するWebサービス。 ptyデバイスからの生の端末出力は、変更されずにクライアント側に送信されるか、サーバー側で処理されます。この場合、たとえばHTML形式で変換済みのクライアント側に転送されます。

Anyterm 、 Ajaxterm 、 Shellinabox （ PythonAnywhereで使用）、 Secure Shell 、 GateOne、tty.jsなど、多くの端末エミュレーターが検討されました。 最後の2つは、最も機能的で積極的に開発されていることが判明しました。 より無料のMITライセンスの下での配布のため、選択はtty.jsに限定されていました。 Tty.jsは、クライアント側のターミナルエミュレーターです（制御シーケンスを含む未加工のターミナル出力は、JavaScriptを使用してクライアント上で解析されます）。



Node.jsで記述されたtty.jsのサーバー側は容赦なく壊れ、Pythonで書き直されました。 Socket.IOトランスポートはSockJSに置き換えられました。同様の経験がPythonAnywhere ブログにすでに記載されています。

「ホタル」の飛行

最後に、Root'n'Rollプラットフォームエンジンに到達しました。 このプロジェクトは、 マイクロサービスアーキテクチャの原則に基づいて構築されています。 メインのサーバー側開発言語はPythonです。



Root'n'Rollプラットフォームサービス接続図：





マイクロサービスは、SFテレビシリーズFireflyの主人公にちなんで命名されています。 映画の主人公は、ホタルクラスのセレニティ惑星間宇宙船の乗組員です。 船上のキャラクターの目的と場所は、彼の名前に対応するサービスの目的と機能をある程度反映しています。

Mal-バックエンドAPI

マルは船の所有者であり船長です。 私たちの船では、Malは他のすべてのサービスの作業を調整する重要なサービスです。 これは、Root'n'Rollプラットフォームのビジネスロジックを実装するDjangoアプリケーションです。 MalはプライベートOpenStackクラウドのAPIクライアントとして機能し、次のアクションを実行するための高レベルのRESTインターフェースを提供します。

• 仮想マシン（コンテナ）を作成/削除します。 要求は変換され、クラウドに委任されます。
• ターミナルの作成とコンテナへの接続。
• テストスクリプトを実行して、仮想マシンの構成を確認します。 要求は、チェックシステムのマイクロサービスに委任されます。
• 構成チェックの結果を取得します。
• クライアントの認証とさまざまなアクションの承認。

Kaylee-ターミナルマルチプレクサー

ケイリーは船の整備士です。 Kayleeサービスは、Web端末をリモート仮想マシンと通信するプロセスのエンジンです。 これは、tty.jsのサーバー側を実装するPythonおよびTornadoの非同期Webサーバーです。



一方では、tty.jsのクライアント部分（ターミナルウィンドウ）は、SockJSプロトコルを介してKayleeとの接続を確立します。 一方、Kayleeは、仮想マシンの端末デバイスとの接続を確立します。 Dockerコンテナーの場合、コンテナーで実行されているプロセスの制御ptyデバイスとのHTTPSプロトコルを介して接続が確立されます。これは通常、bashプロセスです。 次に、Kayleeは、確立された2つの接続間で単純なプロキシ機能を実行します。



クライアントを認証し、仮想マシンに関するデータを取得するために、KayleeはREST APIを介してMalと通信します。

Zoe-チェックシステム

ゾーイ-無条件に信頼するすべてにおいて、船上の助手。 Zoeは、仮想マシンの構成をテストする自動検証システムです。 セロリタスクの形式のZoeサービスは、テストスクリプトを起動するタスクをMalから受け取ります。 テストの最後に、REST APIを介してテスト結果をMalに報告します。 原則として、Zoeは間違いを許しません（StepicのLinuxコースの多くの参加者はすでにこれを見ています）。



テストスクリプトは、 py.testテストフレームワークを使用して記述された一連のテストを含むPythonスクリプトにすぎません。 py.test用に特別なプラグインが開発されました。これは、テストの実行結果を処理し、REST APIを介してMalに送信します。



Django Webフレームワークで簡単な1ページのWebサイトを作成して実行する必要がある演習のシナリオ例：

import re import requests def test_connection(s): assert s.run('true').succeeded, "Could not connect to server" def test_is_django_installed(s): assert s.run('python -c "import django"').succeeded, "Django is not installed" def test_is_project_created(s): assert s.run('[ -x /home/quiz/llama/manage.py ]').succeeded, "Project is not created" def test_hello_lama(s): try: r = requests.get("http://%s:8080/" % s.ip) except: assert False, "Service is not running" if r.status_code != 200 or not re.match(".*Hello, lama.*", r.text): assert False, "Incorrect response"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テスト対象の仮想マシンでコマンドをリモートで実行するために、ZoeはFabricライブラリを使用します。

おわりに

まもなく、 Stepicプラットフォームでは、この記事で説明したすべてのテクノロジーを使用して、誰でもLinuxで作業するための独自のコースとインタラクティブな演習を作成できます。



次の記事では、 JetBrains EdTechハッカソンへの参加の成功、Root'n'RollをStepicに統合する機能と問題について説明します。必要に応じて、カバーされているトピックをさらに詳しく説明します。