象を飼いならすか、HUEとは

投稿では、Hadupeでの作業をもう少し快適にする方法について説明します。







この記事では、Hadoopエコシステムのコンポーネントの1つであるHUEについて検討します。 「Huey」または「HH Yu Y」と発音しますが、よく知られているロシア語の単語であるバリアントとは一致しません。



HUE（Hadoopユーザーエクスペリエンス）は、Hadoopeのデータを分析するためのWebインターフェイスです。 少なくともそれが彼ら自身の位置づけです。 HUEは、Apacheライセンスの下でリリースされたオープンソースプロジェクトです。 執筆時点で、ClouderaのHUEが所有しています。 hadupの最も人気のあるすべてのディストリビューションにインストールされます。

• Pivotal HD 3.0
• Apache bigtop
• HDInsight Hadoop
• マッパー
• Hortonworks Hadoop（HDP）
• Cloudera Hadoop（CDH）

略語HUEを翻訳すると、「ユーザーの小屋のユーザーエクスペリエンス」または「Hadupnyユーザーエクスペリエンス」のようなものが得られます。 そして、本当にそうです。 私はハドイドのいくつかの経験を持ってHUEに来ました。 私は、コンソールとCDM（クラウドマネージャー）の両方でフードを操作しました。 ほとんど使用されているSparkおよびYARNフレームワーク、およびごくわずかなOozie。 そして、時間が経つにつれて、私はいくつかのアイデア/ユーザー要件を蓄積しました：

1. YARNでタスクが開始した構成をすばやく確認できると便利です 。
2. Clouderaのネイティブブラウザよりも機能的なファイルブラウザを使用できれば素晴らしいと思います（非エンタープライズバージョンを使用しました）。
3. Oozieよりも便利で自動化されたタスクスケジューラを使用するのは素晴らしいことです。

それは私のユーザーエクスペリエンスであり、HUEに実装されました。 ファイルブラウザから始めます。 クラウダーのネイティブよりもはるかに便利です。 HDFSのある場所から別の場所にファイルとディレクトリを作成/コピー/移動できます。 アクセス権を変更し、ローカルマシンからHDFSにファイルをアップロードし、ローカルマシンにダウンロードせずに一部の形式（.txt、.seq）のファイルを開くことができます。 タスクスケジューラは、本質的に自動化されたOozieです。 HUEはjob.propertiesとworkflow.xmlを作成します。一般に、Oozieが手作業で行わなければならなかったすべてのルーチン作業は、HUEが行ってくれます。 以下にいくつかの例を挙げて、これについて詳しく説明します。



しかし、HUEはファイルブラウザとスケジューラ（タスクスケジューラ）であるだけでなく、クラスタのほぼすべてのモジュールへのアクセスを提供するアプリケーションのセットであり、アプリケーションを開発するためのプラットフォームです。







この記事では、HUE + Oozie、HUE + YARN、HUE + Spark、HUE + HDFSのバンドルについて説明します。

HUE + Oozie

まず、Oozieには3つの主要なタスクタイプがあることを思い出させてください。

• ワークフローはDAGアクショングラフです。 または、ロシア語では、ある種のタスク（Map Reduceタスク、YARNタスク、Sparkタスク、HDFSタスクなど）にすぎません。
• コーディネーター-これはワークフローであり、指定された開始時間/頻度です。
• バンドルは、Oozieの最高レベルの抽象化です。 それはコーディネーターのセットであり、必ずしも相互接続されているわけではありません（私は使用しませんでした。特別なことは何も言えません）。

画面の上部には「ワークフロー」セクションがあり、そこにはダッシュボードとエディターの2つのサブセクションがあり、それぞれタスクのタイプごとにサブセクションがあります。



Dashbordは、実行中/実行済みのタスクを監視します。



EditorはOozieタスクエディターです。

ダッシュボード

DashbordはOozieタスクを表示します。 つまり 18.00にワークフロー（たとえば、YARNで実行中のタスク）を起動する何らかのコーディネーターがあり、現在は正午に過ぎない場合、YARNリソースマネージャーでは、実行中のタスクのみが表示され、Dashbordには表示されません実行中/準備状態でハングします（実行中-タスクが少なくとも一度実行されている場合、たとえばコーディネーターが昨日からハングし、ワークフローが昨日開始された場合;準備-タスクが完了していない場合） 下の写真は私のダッシュボードの一部を示しています。追加説明なしですべてが明確になっていると思います（機密情報を黒でカバーしました）。

編集者

ワークフローセクションから始めましょう。 このセクションには、このユーザーのすべての利用可能なアクセス可能なワークフローが表示されます。 ここから、ワークフロー、およびワークフローに関する情報のコピー、削除、インポート、エクスポート、および作成を他のユーザーと共有できます。 新しいワークフローを作成するプロセスを検討してください。







ACTIONS行では、ワークフローの作成に基づいて可能なすべてのアクション、つまり、Hiveスクリプト、Hive Server2スクリプト、Pigスクリプト、Sparkプログラム、Javaプログラム、Sqoop 1、Map Reduceジョブ、サブワークフロー、シェル、Ssh、HDFS fs、電子メール、ストリーミング、Distcp、キル。

HUE + HDFS

それをパラメーター化しながら、HDFSにディレクトリを作成する簡単なワークフローを作成しましょう。







ここで、$ {Dir}は変数であり、その値はディレクトリの作成元のディレクトリになります。



$ {Year}、$ {Month}、$ {Day}も変数であり、その目的は明確です。



アクションの周囲に灰色のフィールドが表示されます。アクションを配置することもできます。そのため、複数の出力を持つ分岐ワークフローを取得できます。このような作業の例を後で示します。 ギアは、アクションとストップアクションのコーナーにも表示されます。 これらの歯車をクリックすると、設定メニューに移動します。 各タイプのアクションには独自の設定がありますが、シーケンスなどの共通の設定セットがあります。 タスクが正常に完了したときに渡すアクション、タスクが失敗した場合のアクション。



ワークフローを実行すると、変数の値を設定するように求められます。 それでは、ワークフローに基づいてコーディネーターを作成しましょう。







こちらがコーディネーターです。 対応するフィールドに時間枠を設定します。すべてが単純で、唯一の機能は過去にタスクを実行できることです。 コーディネーターには、名目と実時間の2種類の時間があります。 名義は時間枠内にあるもので、実際は実時間です。 もっと言いたいことは、高度な構文、このチェックボックスをアクティブにすること、crontab形式で頻度を設定することが可能になることです。 周波数では、すべてがそうです。 ワークフローのパラメーターについては、EL関数（式言語関数）を使用して設定します。 変数yearで指定された関数は、値-2016、day-5を返しますが、月があればより興味深い-前月の番号を返します（開始は適合しませんでしたが、日と年と同じです）。 Dirは定数です。 設定によると、コーディネーターは1週間に1日1回起動します。つまり、パス/ test / 2016/4 /に沿ってHDFSに7つのフォルダーがあります。 ここにそのような簡単な例がありますが、実用的なアプリケーションはありませんが、少し変更した場合、たとえば、タスクでフォルダーを作成せずに、前日/月/年のログを持つフォルダーを削除すると、すでに利点があります。

フエ+ヤーン

Javaプログラム、MapReduceプログラムなどのアクションを使用してワークフローを作成し、HDFSバンドルの例のようにパラメーター化することもできます。 タスク実行プロセスがログに記録され、HUEのログがYARN Resource ManagerまたはHistory Serverから取得されます。 少しだけ便利に構造化されているだけです（もちろん、これはすでに好みの問題です）。 また、YARNでタスクを直接実行することとのもう1つの違いは、少し多くのリソースが必要になることです。 Oozieタスクが最初に作成されるため、その目標はワークフロー（Java / MapReduce / Sparkタスク）を呼び出すことです。 このOozieタスクは、クラスターごとに1つのコア（実際のコアではなくvcore）と1.5 GbのRAMを消費します。

MapReduceプロシージャを例として使用し、ワークフローのJavaプログラムアクションから呼び出すこのバンドルを検討します。







これは、ワークフローがどのように見えるかです。 [Jar name]フィールドで、HDFSにある実行可能jarファイルへのパスを示します。 クラスター内のすべてのマシンで複製する必要はなく、HDFSに配置するだけです。 メインクラスフィールドはメインクラスです。 それでは、パラメータです。 この問題では、すべてをパラメーター化しましたが、すべてのパラメーターをパラメーター化する必要はありません。 1つの非常に重要な点に注意する価値があります。 渡されるパラメーターの一部は-D_parameter_name = valueの形式で設定され、一部は配列の文字列引数として取得されます。 ダック、まず–D形式のすべてのパラメーターを設定し、次に文字列引数を設定する必要があります。 あなたがそれらを動かすと、彼はそれらを間違って知覚します。 たとえば、最初に–D形式のパラメーターの一部が設定され、次に通常、次に再び–D形式が設定されました。この場合、–D形式パラメーターの2番目の部分は文字列パラメーターとして認識されます。 この機能を特定する前に、多くの時間を費やす必要がありました。 それでは、ワークフローに基づいてコーディネーターを作成しましょう。







前の例のように作成されます。

HUE + Spark

ワークフローは前の例と同様に作成され、コーディネーターも同様です。 1つの機能があります-起動時にメインクラスのようなエラーが発生し、jarファイルをHDFSに配置した場合、HDFSと同じディレクトリ内のすべてのマシンでjarファイルを複製する必要があります。

---

分岐したワークフローも表示したい：







ワークフローの最初にある魔法の杖はソリューションブログです。編集モードに入ると、魔法の杖がどうなるかがわかります。

---

そして最後に、私は言います...



個人的に、HUEはHadoopエコシステムでの作業をより快適にしました。 ただし、その機能の半分は使用していません。 他のHUEバンドルについては何も言いませんでした。シェルとのバンドルのように非常に単純であるか、使用せずに何も言えないためです。 また、クエリエディター、メタストアマネージャー、検索についても話しませんでした。 この世界の知識にご関心をお寄せいただき、ありがとうございます。