クエリタイムアウトの問題に直面することなく、Salesforce 組織のカスタムオブジェクトから毎日 5,000 万件のレコードを抽出するための最良の解決策は、レコードの抽出に ETL ツールを使用することです。ETL は抽出、変換、ロードの略で、あるシステムから別のシステムにデータを移動するプロセスを指します。ETL ツールは、さまざまなデータ ソースに接続し、データ変換を実行し、ターゲットの宛先にデータをロードできるソフトウェア アプリケーションです。ETL ツールは、大量のデータを効率的かつ確実に処理でき、多くの場合、スケジュール、監視、エラー処理、ログ記録などの機能を提供します5。カスタムの自動番号と数式フィールドを使用し、それを使用してデータを抽出するときにレコードをチャンクすることが考えられる回避策ですが、追加のフィールドを作成し、複雑なクエリを作成する必要があります。REST API は、レコードを 200 単位で自動的に分割してデータを抽出できますが、クエリ ジョブあたり最大 5,000 万レコードなど、いくつかの制限があります6。クエリ タイムアウト値は構成できないため、SF サポートにクエリ タイムアウト値を増やすように依頼することは不可能です。

複数のシステムから Salesforce にデータを結合するときにデータ アーキテクトが実行する必要がある 3 つの重要な手順は次のとおりです。
各システムのデータモデルを分析し、ギャップ分析を実行します。このステップには、各システム内のデータの構造と意味を理解し、共通および固有のデータ要素を特定し、システム間でデータ フィールドをマッピングすることが含まれます。このステップには、データの品質と一貫性を評価し、データのクレンジングや変換のニーズを特定することも含まれます。
ETL ツールを利用して、データのマージ、変換、重複排除を行います。この手順では、ETL ツールを使用してソース システムに接続し、データを抽出し、データ変換または検証を適用して、データを Salesforce にロードします。この手順には、Salesforce で重複レコードが作成されないように重複除外ルールまたはアルゴリズムを適用することも含まれます。
関係者と協力して、記録とフィールドの存続ルールを定義します。このステップでは、ビジネス ユーザーおよびデータの所有者と協力して、競合または不一致が発生した場合にどのレコードとフィールドを保持または上書きするかを決定します。このステップには、レコードと項目の存続に関する基準とロジックの定義、およびそれらを ETL ツールまたは Salesforce で実装することも含まれます。
すべてのシステムからの追加の値を保存するための新しいフィールドを作成することは重要な手順ではなく、むしろギャップ分析の結果として起こり得るものです。すべてのシステムのすべての値に対して新しいフィールドを作成することは、冗長なデータや無関係なデータが生成される可能性があるため、必要または望ましいことではない場合があります。統合を処理するためにサードパーティの AppExchange ツールをインストールすることは重要な手順ではありませんが、ETL ツールを選択する際の可能なオプションです。組織の要件、予算、好みによっては、これが最適なオプションではない場合があります。

Salesforce Bulk API を並列モードで使用すると、レコードの複数のバッチを同時に処理し、サーバー リソースをより効率的に活用できるため、移行時間を短縮できます。Bulk API は、大量のデータを Salesforce にロードするために設計されています