データフロー パイプラインは、Apache Beam SDK を使用して構築されているため、Spark や Flink などの代替ランタイムでも実行できます。

記憶力と一般化の力を組み合わせて、人間と同じようにコンピューターに学習を教えることはできるでしょうか? 答えるのは簡単な質問ではありませんが、広範な線形モデル (記憶用) とディープ ニューラル ネットワーク (一般化用) を共同でトレーニングすることで、両方の長所を組み合わせて、さらに一歩近づくことができます。Google では、これを Wide & Deep Learning と呼んでいます。これは、レコメンダー システム、検索、ランキングの問題など、スパース入力 (多数の可能な特徴値を持つカテゴリ特徴) を使用した一般的な大規模な回帰および分類の問題に役立ちます。
参考: https://research.googleblog.com/2016/06/wide-deep-learning-better-together-with.html

説明
ワンホット エンコーディングには 2 つの問題があります。まず、次元性が高く、連続フィーチャのように 1 つの値だけを持つのではなく、多くの値または次元を持ちます。これにより、特にフィーチャに非常に多くのカテゴリが含まれる場合、計算に時間がかかります。2 番目の問題は、カテゴリー間の関係がエンコードされていないことです。これらは互いに完全に独立しているため、ネットワークはどれが互いに似ているかを知る方法がありません。
これらの問題はどちらも、カテゴリ特徴量を埋め込み列で表すことで解決できます。各カテゴリには、たとえば 5 つの値を含む小さなベクトルがあるという考え方です。ただし、ワンホット ベクトルとは異なり、値は通常 0 ではありません。値は重みであり、ニューラル ネットワークの基本機能に使用される重みと同様です。違いは、各カテゴリに一連の重み (この場合は 5 つ) があることです。
埋め込みベクトルの各値は、カテゴリの特徴と考えることができます。したがって、2 つのカテゴリが互いに非常に似ている場合、それらの埋め込みベクトルも非常に似ているはずです。
参照：
https://cloudacademy.com/google/introduction-to-google-cloud-machine-learning-engine-course/a-wide-and-dee

C、E: プルされたメッセージを承認しないと、そのメッセージは Cloud Pub/Sub に戻されます。つまり、メッセージは Pub/Sub から消費され削除されるのではなく、蓄積されます。エラーが発生した場合にサブスクライバが受信するメッセージのリースを維持している場合にも、同じことが発生する可能性があります。これにより、メッセージが最初のサブスクライバーでスタックされるため、全体の処理速度が低下します。また、Cloud Function のエラーは、正しく処理されないと Stackdriver Log Viewer に表示されません。
A: 観察された結果では、メッセージ数が減少するのではなく、メッセージ数が増加するため、パブリッシャー レートに問題はありません。
B: メッセージが最大 10MB を超える場合、メッセージは公開できません。
D: Cloud Functions は自動的にスケーリングするので、対応できるはずです。