Pentahoデータ統合によるSalesforceデータ移行

こんにちは、Habr。



私の名前はIlya Grebtsovです。DataArtでJava / JS開発者として働いています。 Salesforceで作業している人と何か役に立つものを共有したいと思います。



Salesforceでは、タスクは多くの場合、複数のオブジェクト（リレーショナルデータベースのテーブルの類似物）の関連レコードのグループを大量に作成/変更/削除することから発生します。 たとえば、頻繁に使用される標準オブジェクトは、アカウント（クライアントの会社に関する情報）、連絡先（クライアント自身に関する情報）です。 問題は、連絡先レコードを保存するときに、関連付けられたアカウントレコードのIDを指定する必要があることです。つまり、連絡先レコードを追加するときにアカウントが存在する必要があります。



実際には、コミュニケーションはさらに複雑になる可能性があります。たとえば、OpportunityオブジェクトはAccountとContactの両方を指します。 さらに、非標準（カスタム）オブジェクトへのリンクが可能です。 いずれにしても、参照によるレコードは、それを参照するレコードの前に作成する必要があります。



この問題の解決策を検討してください。

匿名の頂点

APEXスクリプトを準備してから、Salesforce Developer Consoleで実行する必要があります。 スクリプトでは、関連するオブジェクトが順番に入力されます。 次の例では、テストアカウントAccountが挿入され、次にContactが挿入されます。 連絡先を挿入する場合、アカウントの挿入後に取得されたアカウントレコードのIDが使用されます。

アカウント[ ]アカウント。

アカウント。 追加 （ 新しいアカウント（

名前 = 'test'

） ） ;

アカウントを挿入します。



連絡先[ ]連絡先。

連絡先。 追加 （ 新しい連絡先（

AccountId = accounts [ 0 ] 。 Id

FirstName = 'test'、

LastName = 'test'

） ） ;

連絡先を挿入します。

長所：

• 開発者コンソールは常に手元にあり、インストールや構成に追加する必要はありません。
• このスクリプトは、Salesforce開発者に近い言語であるAPEXで記述されています。
• 単純なロジックは簡単に実装できます。

短所：

• Salesforceの制限により、最大200のエントリをこの方法で変更できます。
• 複雑なロジックを実装するのは難しいです。
• この方法は、Salesforceの外部からのデータ移行には適していません。すべてのデータがすでにロードされている必要があります。

したがって、この方法は、小規模で単純な手動変更にのみ適しています。

バッチ頂点

すでにSalesforce内にある多くのレコードを変更する必要がある場合は、バッチAPEXを使用できます。 前の方法とは異なり、この方法では、Salesforceの制限に従って最大10,000件のレコードを処理できます。 Batchは、APEXで記述されたDatabase.Batchableから継承されたカスタムクラスです。



開発者コンソールから手動でクラスを実行できます。

データベース。 Batchable < sObject > batch = new myBatchClass （ ） ;

データベース。 executeBatch （バッチ） ;

または、特定の時間にプロセスが開始されるジョブを作成します。



したがって、この方法はSalesforce内の大規模なデータ変更に適していますが、非常に面倒です。 他のAPEXコードのように、サンドボックスから生産的なクラスにデプロイする場合、ユニットテストでカバーする必要があります。

データローダー

データローダは、ローカルにインストールされる標準のSalesforceユーティリティです。 最大500万件のレコードを処理できます。 データローダーを使用した移行は、多数のレコードを処理するためのベストプラクティスであり、最も一般的な方法です。 レコードのアップロード/ダウンロードは、Salesforce APIを使用して実行されます。



このユーティリティを使用すると、Salesforceでオブジェクトを選択し、データをCSVファイルにエクスポートできます。 または、CSVからSalesforceにオブジェクトをアップロードします。



Salesforceの既存のデータの処理は次のとおりです。

1. 必要なデータをSalesforceからCSVファイルにアップロードします。
2. CSVファイルのデータを変更します。
3. CSVファイルからSalesforceにデータをロードします。

ここのポイント2は、データローダー自体では実装されないボトルネックです。 CSVファイルを処理するためのサードパーティの手順を作成する必要があります。



例として、複数の連絡先エントリを挿入するには、関連するアカウントと連絡先にデータを送信する必要があります。 アクションアルゴリズムは次のようになります。

1. 新しいアカウントエントリのリストを含むCSVファイルを準備します。 データローダーを使用してSalesforceにダウンロードします。 結果は、アカウントIDのリストになります。
2. 新しい連絡先エントリのリストを含むCSVファイルを準備します。 その中で、AccountIdフィールドに、最初のステップで取得したリストからIDを指定する必要があります。 これは手動で行うか、任意のプログラミング言語を使用できます。
3. 取得したCSVを連絡先リストとともにSalesforceにダウンロードします。

したがって、この方法は、Salesforce内および外部データの使用の両方での大規模なデータ変更に適しています。 ただし、特にレコードの変更が必要な場合は、非常に面倒です。

Pentahoデータ統合

Kettleとしても知られるPentaho Data Integrationは、ユニバーサルETLユーティリティです。 これは、特殊なSalesforceユーティリティではありません。 このセットにはSalesforceの入力接続および出力接続メソッドが含まれており、これにより、Salesforceデータを他のソース（リレーショナルデータベース、SAP、XMLファイル、CSVなど）からのデータとして透過的に処理できます。



Salesforceでは、ユーティリティはSalesforce APIを介して機能するため、データローダーと同様に最大500万件のレコードを処理できます。 より便利な方法でのみ。



主な特徴は、グラフィカルインターフェイスです。 変換全体は、データの読み取り、並べ替え、結合、データの書き込みという個別の単純なステップに分割されます。 ステップはアイコンの形で表示され、その間に矢印が描かれます。 したがって、それがどこから来て、どこから来たかがはっきりとわかります。



このユーティリティには少なくとも2つのバージョンがあります。保証付きの有料版と無料版です。 無料のCommunity Edition（Apache License v2.0）はhttp://community.pentaho.com/からダウンロードできます 。



最も単純な場合の変換開発には、プログラミングスキルは必要ありません。 ただし、必要に応じて、JavaまたはJavaScriptで記述されたルーチンを含むステップを使用できます。



Pentaho Data Integrationを使用したデータ移行の機能について詳しく説明する必要があります。 ここでは、私の経験と遭遇した困難について説明します。



Salesforceの接続パラメーターは、変換プロパティパラメーターで指定する必要があります。 設定が完了すると、必要に応じて、変数の形ですべてのステップで設定が使用可能になります。

以下を指定することをお勧めします。

• Salesforceに接続するためのURL。
  
  Salesforce Developer Editionを含む製品の場合： https : //www.salesforce.com/services/Soap/u/21.0
  
  テスト環境（サンドボックス）の場合： https : //test.salesforce.com/services/Soap/u/21.0
  
  APIのバージョン（この場合は21.0）は、必要に応じて変更する必要があります。
• ログイン ユーザーには、APIを介して接続するための十分な権限が必要です。 理想的には、これはシステム管理者でなければなりません。
• パスワード 重要なのは、パスワード自体に加えて、セキュリティトークンを指定する必要があることです。

セキュリティ上の理由から、ログインとパスワードのフィールドを空のままにしておくことができます。この場合、データ統合は変換の開始時にそれらを要求します。







データは、Salesforce入力ステップによってサンプリングされます。 このステップの設定では、接続パラメーターを指定する必要があります。この場合、以前に作成された変数が使用されます。 また、選択するオブジェクトとフィールドのリストを選択するか、SOQLクエリ言語を使用して特定のクエリを指定します（リレーショナルデータベースで使用されるSQLクエリ言語と同様）。







データは、いくつかの出力ステップのいずれかを使用して挿入されます。

• Salesforce挿入
• Salesforceアップデート
• Salesforce Upsert（挿入と更新の組み合わせ：レコードがある場合は更新され、そうでない場合は新しいレコードが挿入されます）

を使用してエントリを削除することもできます

• Salesforce削除。

入力ステップと同様に、接続パラメーターを指定する必要があります。この場合、変換変数が使用されます。 また、さらに微調整があります-タイムアウト接続のパラメーター。その後、変換は失敗します。 また、Salesforce固有のバッチサイズパラメーターは、1つのトランザクションで転送されるレコードの数です。 バッチサイズを大きくすると、変換の速度がわずかに向上しますが、200を超えることはできません（Salesforceの制限による）。 さらに、挿入後に追加のデータ処理を提供するトリガーがある場合、大きなバッチサイズ値での不安定な操作が可能です。 デフォルト値は10です。







これらの2つの手順は、データローダーユーティリティの機能を完全にカバーしています。 その間にあるのは、データ処理のロジックだけです。 また、Pentaho Data Integrationに直接実装できます。



たとえば、最も要求される手順の1つは、2つのデータストリームを結合することです。 SOQLに欠けているSQLからの同じ結合。 ここにいる。

設定では、タイプを選択できます：内部、左外部、右外部、完全外部-接続キーを指定します。







必須要件-このステップの入力は、キーフィールドでソートする必要があります。 データ統合では、このために別のソーターステップを使用します。



ソートはRAMで実行されますが、それだけでは不十分で、データが中間ファイルにディスクに保存される可能性があります。 ほとんどのソーター設定は、この特定のケースに関連付けられています。 理想的には、ディスクへのスワップを避ける必要があります。メモリでのソートよりも10倍遅いです。 これを行うには、[ソートサイズ]パラメーターを調整する必要があります-理論的にソーターを通過できる行数の上限を指定します。



また、設定では、値の昇順または降順でソートを実行する1つ以上のキーフィールドを選択できます。 フィールドタイプが文字列の場合、大文字と小文字の区別を指定することは理にかなっています。 Presortedパラメーターは、行がこのフィールドで既にソートされていることを示します。







JoinとSorterは、ほとんどすべての変換で発生する束を形成します。







ソートと結合は、変換のパフォーマンスに最大の影響を及ぼします。 数ステップ前にデータがすでにソートされていて、その後に順序が変更されていない場合、余分なソートは避けてください。 ただし、注意する必要があります。Joinでデータがソートされていない場合、Data Integrationは動作を停止せず、エラーを表示せず、結果だけが不正確になります。



キーフィールドとして、常に短いフィールドを選択する必要があります。 データ統合を使用すると、ソートおよび結合のために複数のキーフィールドを選択できますが、処理速度は大幅に低下します。 回避策として、サロゲートキーを生成することをお勧めします。その結果、接続用のフィールドは1つだけになります。 最も単純なケースでは、文字列を連結することで代理キーを取得できます。 たとえば、FirstNameフィールドで結合する場合、LastNameはFirstName + '' + LastNameで結合することをお勧めします。 さらに進むと、結果の文字列からハッシュ（md5、sha2）を計算できます。 残念ながら、Data Integrationには、文字列のハッシュを計算するための組み込みのステップはありません;ユーザー定義のJavaクラスを使用して自分で作成できます。



上記の手順に加えて、データ統合にはさらに多くの機能が含まれています。 これらは、フィルター、スイッチ、ユニオン、文字列の処理手順、リレーショナルテーブルとWebサービスの検索です。 そして他の多く。 また、JavaまたはJavaScriptでコードを実行できるようにする2つの普遍的な手順。 それらについて詳しくは述べません。



Data IntegrationのSalesforceとの不愉快な機能は、Salesforce APIを介してレコードを挿入する速度が遅いことです。 1秒あたり約50レコード（標準のデータローダーの場合と同様に、Webサービスへのアクセス自体は遅い操作です）、数千行の処理が困難になります。 幸いなことに、データ統合を使用すると、複数のスレッドに挿入できます。 標準的な解決策はありませんが、ここに私が思いつくものがあります：







ここで、JavaScriptプロシージャはランダムなストリーム番号を生成します。 次に、Switchステップは、その番号に従ってスレッドを配布します。 Salesforce Insertの4つの個別のステップはレコードを挿入するため、合計フローレートは200レコード/秒に増加します。 最終的に、入力されたIDフィールドを持つすべての挿入されたレコードはCSVファイルに保存されます。



並列挿入を使用すると、データ処理をわずかに高速化できます。 ただし、無限に流れることは機能しません。Salesforceの制限によると、1人のユーザーからの接続は25を超えてはなりません。



結果の変換は、ローカルマシンですぐに開始できます。 マイルの進行状況はステップ指標に表示されます。 ここでは、どのステップが機能するか、このステップで読み取られて渡されたレコードの数を確認できます。 特定のステップでレコードを処理する速度と同様に、変換の「ボトルネック」を簡単に見つけることができます。







通常の変換の場合、Data Integrationを使用すると、ローカルマシンまたは専用サーバーで条件またはスケジュールで実行されるジョブを作成できます。



ご清聴ありがとうございました。 Salesforce開発者がこのような便利なツールをサービスに取り入れることを期待しています。