参考: https://cloud.google.com/solutions/data-lifecycle-cloud-platform

Dataflow がサポートするトリガーには、主に 3 種類あります。1. 時間ベースのトリガー、2. データ駆動型トリガー。
ウィンドウが一定数のデータ要素を受信した際に、そのウィンドウから結果を出力するトリガーを設定できます。3. 複合トリガー。これらのトリガーは、複数の時間ベースまたはデータドリブンのトリガーを論理的に組み合わせます。参考：https://cloud.google.com/dataflow/model/triggers

内部IPアドレスのみを使用するという組織の制約を遵守するDataflowでバッチパイプラインをデプロイするには、プライベートGoogleアクセスを確保することが最も効果的なソリューションです。オプションDが最適な選択肢である理由は次のとおりです。
* プライベート Google アクセス:
* プライベート Google アクセスを使用すると、外部 IP アドレスを持たない VPC ネットワーク内のリソースが内部 IP アドレスを通じて Google API とサービスにアクセスできるようになります。
* これにより、Dataflow が Cloud Storage と BigQuery にアクセスできるようにしながら、内部 IP のみを使用するという組織の制約に準拠できるようになります。
* 内部 IP を使用したデータフロー:
* Dataflow は、ワーカー ノードに内部 IP アドレスのみを使用するように構成でき、外部 IP アドレスが割り当てられないようにすることができます。
* この構成により、Dataflow、Cloud Storage、BigQuery 間の安全でコンプライアンスに準拠した通信が保証されます。
* ファイアウォールとネットワーク構成:
* プライベート Google アクセスを有効にするには、Google Cloud サービスへの内部トラフィックを許可するための正しいファイアウォール ルールとネットワーク構成を確保する必要があります。
実装手順:
* プライベート Google アクセスを有効にする:
* Dataflow パイプラインで使用されるサブネットワークでプライベート Google アクセスを有効にします gcloud compute networks subnets update [SUBNET_NAME] \
--region [リージョン] \
--プライベートIPのGoogleアクセスを有効にする
データフローを構成する:
* 内部IPアドレスのみを使用するようにデータフロージョブを構成する
gcloud データフロージョブ実行 [JOB_NAME] \
--region [リージョン] \
--network [VPC_NETWORK] \
--subnetwork [サブネットワーク] \
--パブリックIPを使用しない
* アクセスを確認:
* ファイアウォール ルールで、内部 IP を使用して Dataflow ワーカーから Cloud Storage および BigQuery への必要なトラフィックが許可されていることを確認します。
参考リンク:
* プライベート Google アクセス ドキュメント
* 内部 IP を使用するように Dataflow を構成する
* VPC ファイアウォールルール

従来の機械学習は、入力層と出力層をそれぞれ1層ずつ、そしてその間に最大1層の隠れ層を持つ浅いネットワークに依存しています。3層以上（入力層と出力層を含む）の層は「深層」学習と呼ばれます。
So deep は厳密に定義された技術用語であり、複数の隠し層を意味します。
ディープラーニングネットワークでは、各層のノードは、前の層の出力に基づいて、異なる特徴セットを学習します。ニューラルネットワークを進むにつれて、ノードは前の層からの特徴を集約・再結合するため、より複雑な特徴を認識できるようになります。
隠し層が 1 つしかないニューラル ネットワークでは、線などの低レベルの特徴を検出する以前の隠し層を使用してこれらの特徴を「構築」することができないため、目などの顔の高レベルの特徴を自動的に認識することはできません。
生画像データに対して特徴エンジニアリングを実行するのは困難です。
K-means クラスタリングは、ラベルのないデータを分類するために使用される教師なし学習手法です。
参考: https://deeplearning4j.org/neuralnet-overview