OpenStack Savannaプロジェクトの技術リーダーであるSergey Lukyanovへのインタビュー

ラファエル・クヌースによるインタビュー



Mirantisブログで、OpenStackイニシアチブの技術プロジェクトマネージャーとの一連の会話の10回目のインタビューを紹介します。 私たちの目標は、できるだけ多くの技術コミュニティのメンバーをトレーニングし、OpenStackに貢献する方法とOpenStackから利益を得る方法を理解することです。 もちろん、以下はインタビュー対象者の視点であり、Mirantisの観点ではありません。



そこで、 OpenStack Savannaのテクニカルディレクターである Sergey Lukyanovへのインタビュー。



Mirantis：自分について教えてください。



Sergey Lukyanov：私はMirantis Incのシニア開発者および技術マネージャーであり、3年以上働いています。 主にアーキテクチャ設計とOpenStackコミュニティを担当しています。 私は、大量のデータを処理し、関連するテクノロジー（Hadoop、HDFS、Cassandra、Twitter Stormなど）を扱うプロジェクトに参加した経験があるほか、産業規模でのプロジェクトの開発にも携わっています。 現在、私はTwitter StormやOpenStackなど、さまざまなオープンソースプロジェクトに関与しています。



質問：OpenStackに来たきっかけは何ですか？ なぜプロジェクトに参加しているのですか？



回答：私は約1年間OpenStackに積極的に取り組んできましたが、その前でさえ、Diabloのリリース以降、その開発を見てきました。 アクティブな開発は、Swiftクラウドストレージコードの一部を書くことから始まりました。これにより、この物理データまたはそのデータがどの物理マシンにあるかを外部から知ることが可能になりました（これはサバンナのローカルコンピューティングの実装に役立ちました）。 その後、直接、サバンナプロジェクトに取り組み始め、並行して他のOpenStackプロジェクト（オスロ、スウィフト、ノヴァクライアント、ハッキング、Pbr、Jeepybなど）の開発に参加しました。OpenStackでの私の主な目標は、サービスと機能の数を増やすことですこれは、アプリケーション開発者がこのプラットフォームをより便利に使用できるようにし、できるだけ広く普及させるために提供されています。



質問：サバンナプロジェクトのテクニカルマネージャーとして何を担当していますか？



回答：私は主にプロジェクトを監督しています。 これには、Launchpadでのバグと設計図の監視と管理、Gerritシステムを使用した新しいコードのチェック作業の調整、チームとの毎週のIRCミーティング、およびOpenStack Design Summitでのミーティングが含まれます。 プロジェクトの技術的リーダーは、何よりもまず、プロジェクトのフレームワーク内ですべてのチームの作業を調整し、彼の開発の一般的な方向が設定されたタスクと目標と一致することを確認する人であるように思われます。 さらに、自分のプロジェクトに加えられた新しい変更の数、および他のチームメンバーからの記述されたコードのチェックの数において最初の場所の1つをとります。



質問：SavannaプロジェクトはOpenStackでどのような役割を果たしますか？ その意味は何ですか？



私のビジョンでは、OpenStackは技術的なインフラストラクチャであるだけでなく、密接に関連し、活発に開発されているプロジェクトの非常に大きなエコシステムに取り組んでいる開発者の広範なコミュニティです。 そして、これらすべてがまさにクラウドプラットフォームを構成するものです。 そしてここで、このエコシステムを他のオープンソースイニシアチブとそれらを開発するコミュニティに導入し、統合することにより、このエコシステムの将来の発展のための素晴らしい機会を見出します。 そして、OpenStackとApache Hadoopの統合だけが、この好例です。 ユーザーの観点から見ると、大量のデータを処理することは、ほとんどのOpenStackイニシアチブプロジェクトに最終的に役立つ可能性があります。



質問：サバンナプロジェクトで本当にユニークで新しいものは何ですか？



回答：Savannaプロジェクトは、データ処理プログラムの一環として、ハバナサイクルの最後の段階で、公式のインキュベーションOpenStackプロジェクトになることを申請しました。 現在、サバンナは、次の2つの分野で基本的なインフラストラクチャ操作の実装を提供しています。



-Apache AmbariなどのHadoopベンダーツールに基づいてHadoopクラスターを有効化および管理し、Hortonworksデータ処理プラットフォームへのアクセスを提供します。



-作成、実行などを含むHadoopタスクの計画と処理



また、ビッグデータの処理に関する潜在的な問題のリストが非常に長いため、SavannaがData APIを提供していないことを明確にしたいと思います。 将来的には、Hadoopだけでなく、大量のデータを処理する他の手段もサポートする予定です。



質問：サバンナコミュニティについて教えてください-このプロジェクトに関与しているのは誰ですか？



回答：プロジェクトはMirantisの小さなチームで始まりました。 現在、ハバナサイクルの一部として約30人がこの作業に取り組んでおり、チームのバックボーンはMirantis、Red Hat、Hortonworksの従業員、残りの参加者はHP、IBM、UnitedStack、Rackspaceの従業員です。



質問：サバンナコミュニティはこれまでに何を達成しましたか？



回答：今日、スケーリング（および新しいタイプのコンピューティングノードの追加を含むクラスターサイズの増減）、非アフィニティ（データノードの信頼性を保証することを含む）をサポートするクラスターを運用および管理するサービスを提供しています）およびコンピューティング用のローカルに保存されたデータの使用（より効率的なHadoopタスクのため）。 クラスター構成データを保存するには、ノードグループとクラスターのテンプレートを使用します。 2番目の主要な機能であるElastic Data Processing（EDP）について言えば、Savannaプロジェクトは、Oozieタスクスケジューラを介したjar、Pig、Hiveなどのタスクの単純な実行をサポートします。これには、Swiftストレージとのデータの読み書き機能が含まれます。 機能的な機能を拡張する可能性に関しては、この原則は、Hadoopクラスターにアクセスするための2つのプラグインを含むプラグインメカニズムの存在によって保証されます：必要なすべてのサービスを単にインストールするVanillaプラグインと、Apache Ambariを起動およびHadoopクラスター構成。 そしてもちろん、OpenStack Dashboardのプラグインは、プロジェクトのすべての機能を反映しています。



質問：SavannaはOpenStack Icehouseリリースの一部としてどのような機能を提供しますか？



回答：主な目標は、他のOpenStackプロジェクトおよびインフラストラクチャとの統合の効率を高めることです。 Icehouseリリースで計画されている主な変更は、他のOpenStackサービスを介した直接管理に置き換えるためのリソース管理のHeatサポートです。 また、プロジェクトへの新しい変更を確認するためにSavannaとDevStackゲートの統合に取り組んでおり（Devstack自体はすでにSavannaサポートを実装しています）、次に、TempestでAPIと包括的なテストをテストします。 さらに、Savanna Icehouseで、クラウドコントローラーとその上で実行されているゲストオペレーティングシステム間の現在のすべてのアクセス問題を解決する、いわゆるゲストエージェントを期待しています。 ssh / APIを直接呼び出す必要はありません。 EDP​​機能の一部として、一般的なタスクフローの実行を改善し、新しい機能、タスクタイプ、データソースなどのサポートを実装したいと考えています。 また、ベンダーがサポートしている少なくとも1つ以上の新しいプラグインが実装されることを期待しています。たとえば、既に検討中のIDH（Apache Hadoopプロジェクト用のIntel Distribution）です。



質問：このプロジェクトについて人々に知ってほしいことは何ですか？



回答：Savannaプロジェクトの目標は、OpenStackコミュニティにデータ処理ツールを提供することです。 現時点では、Hadoopエコシステムに重点を置いていますが、Apache SparkやTwitter Stormなどの他のツールをサポートするための議論が既に進行中であり、概念が開発されています。 つまり、現在、EDPへの要望を収集し、新しい機能とデータ処理ツールを追加しています。



質問：サバンナプロジェクトに関して一般的な誤解はありますか？



回答：プロジェクトでのData APIの可用性に関する意見。 サバンナにはデータAPIはありませんが、管理APIには2つのレベルがあります。1つはクラスターの機能/管理を提供します 別のタスクは、タスクとそのフローを完了するプロセスを管理します。 そして再びプロジェクトの目的について。 1つのインフラストラクチャ向けの1回限りのソリューションではなく、データ処理の分野で包括的なソリューションとツールを提供したいと考えています。 私たちの活動分野はデータ処理です​​。



質問：どのような場合にサバンナを使用できますか？



回答：Savannaプロジェクトの実装中、いくつかのユースケースを念頭に置いています。 まず、データ処理クラスター（現在はHadoopクラスター）を管理します。 クラウドプラットフォームの別のアプリケーションは、ピーク負荷が発生したときにアイドルコンピューティングパワーを使用することです。 データ処理ツールの分野で特別な知識がなくても、数回クリックするだけでデータ処理中の負荷を管理する機能（現時点ではさまざまなHadoopジョブ）を提供します。



質問：サバンナプロジェクトに対するあなたのビジョンは何ですか？



回答：Savannaは、データ処理/クラスターサポートツールを提供するサービスと考えています。その主な機能は、特定のタスクなどを実行するための弾性データ処理操作を提供することです。



質問：サバンナプロジェクトの参加者の中で誰に会いたいですか？



回答：2種類の参加者を見たいです。 さまざまなHadoopディストリビューションおよび（特に）他のデータ処理環境の実装に興味がある人々が必要です。 また、データ処理の負荷を管理し、プロジェクトを改善するためのコメントや提案を送ることで私たちを支援するために、サバンナを使い始める人々-オペレーターも本当に必要です。



質問：改善とテストに今必要な機能は何ですか？



回答：Heatとの統合にはテストが必要です。 これにより、リソース管理コードの大部分が置き換えられます。 統合された統合テストをTempestに移植する作業を行っています。ここでは、古いプラットフォームのこのプラットフォームへの移植と新しいテストの作成の両方で支援が必要です。 また、さまざまなゲストオペレーティングシステムと組み合わせて、さまざまなオペレーティングシステムでサバンナのテストを継続する必要があります。



質問：どうすれば人々はサバンナで働き始めることができますか？



回答：今ではそれほど難しくないことを望みます。 DevStackを使用してインストールを実行できます。CDNで利用可能なdiskimage-builderに基づくディスクイメージをGlanceにロードするだけです。 Docs.openstack.org/developer/savannaは、開発者、管理者、およびユーザー向けの詳細な使用ガイドを提供します。 そしてもちろん、私たちのチームは、特に新しいプラグインの開発者、そしてその結果としての新しいプロジェクト参加者の期待を考慮して、このプロセスを簡素化するために取り組んでいます。 質問がある場合は、freenode.netの#savanna IRCチャネルまたはopenstack-dev@lists.openstack.org e-newsletter（件名に[savanna]プレフィックスを指定）を使用してチームを見つけることができます。



質問：お時間をいただきありがとうございます、セルゲイ。



回答：ありがとうございます。