説明
列は、カテゴリ列と連続列の 2 つのタイプにグループ化できます。
列の値が有限セット内のカテゴリの 1 つにしかならない場合には、その列はカテゴリ列と呼ばれます。たとえば、人の出身国 (米国、インド、日本など) や教育レベル (高校、大学など) はカテゴリ列です。
列の値が連続した範囲内の任意の数値である場合、その列は連続していると呼ばれます。たとえば、ある人の資本利得 (例: $14,084) は連続した列です。
生年と収入は連続した列です。国はカテゴリ列です。
バケット化を使用して、生年月日や収入をカテゴリ特徴に変換できますが、生の列は連続しています。
参考: https://www.tensorflow.org/tutorials/wide#reading_the_census_data

Cloud DLP は、機密データの検出、分類、保護を支援するサービスです。マスキング、編集、トークン化、暗号化など、さまざまな匿名化手法をサポートしています。FFX を使用した形式保持暗号化 (FPE) は、機密データを暗号化しながら元の形式と長さを維持する手法です。これにより、実際の値を明らかにせずに、暗号化されたデータを同じフィールドに結合できます。FFX を使用した FPE は部分的な暗号化もサポートしているため、メール アドレスのドメイン名など、データの一部のみを暗号化できます。Cloud DLP を使用して FFX を使用した FPE でメール フィールドを匿名化することで、アナリストが PII にアクセスすることなく、メール フィールドで予約データとユーザー プロファイル データを結合できるようになります。Cloud DLP の recordTransformations を使用してメール フィールドを匿名化するパイプラインを作成できます。これにより、フィールドとそれらに適用する匿名化変換を指定できます。その後、匿名化されたデータを BigQuery テーブルに読み込んで分析できます。参考資料:
* 機密データの匿名化 | クラウド データ損失防止ドキュメント
* FFX によるフォーマット保持暗号化 | クラウド データ損失防止ドキュメント
* Cloud DLP API でデータを匿名化および再識別する
* パイプライン内のデータを匿名化する

列は、カテゴリ列と連続列の 2 つのタイプに分類できます。
列の値が有限セット内のカテゴリの 1 つにしかならない場合には、その列はカテゴリ列と呼ばれます。たとえば、人の出身国 (米国、インド、日本など) や教育レベル (高校、大学など) はカテゴリ列です。
列の値が連続範囲内の任意の数値である場合、その列は連続していると呼ばれます。たとえば、個人の資本利得 (例: $14,084) は連続列です。誕生年と収入は連続列です。国はカテゴリ列です。バケット化を使用して誕生年や収入をカテゴリ特徴に変換できますが、生の列は連続しています。
参考: https://www.tensorflow.org/tutorials/wide#reading_the_census_data

Cloud Bigtable は、Google の NoSQL ビッグデータ データベース サービスです。これは、Google が検索、アナリティクス、マップ、Gmail などのサービスに使用しているのと同じデータベースです。モノのインターネット (IoT)、ユーザー分析、財務データ分析など、低レイテンシと高スループットが求められる用途に使用されます。
参考: https://cloud.google.com/bigtable/

https://cloud.google.com/dataflow/docs/guides/troubleshooting-your-pipeline#detect_an_exception_in_worker_c ジョブの実行中に、ワーカーコードでエラーや例外が発生することがあります。これらのエラーは通常、パイプライン コード内の DoFn によって未処理の例外が生成され、その結果 Dataflow ジョブのタスクが失敗したことを意味します。ユーザーコード (DoFn インスタンスなど) 内の例外は、Dataflow モニタリング インターフェースで報告されます。