Cloud ML Engine は主に次の 2 つのことを行います。
TensorFlow トレーニング アプリケーションをクラウドで実行することで、機械学習モデルを大規模にトレーニングできるようになります。
これらのトレーニング済みモデルをクラウドでホストし、新しいデータに関する予測を取得するために使用できるようにします。
参考: https://cloud.google.com/ml-engine/docs/technical-overview#what_it_does

ワンホット エンコーディングには 2 つの問題があります。まず、次元性が高く、連続フィーチャのように 1 つの値だけを持つのではなく、多くの値または次元を持ちます。これにより、特にフィーチャに非常に多くのカテゴリが含まれる場合、計算に時間がかかります。2 番目の問題は、カテゴリー間の関係がエンコードされていないことです。これらは互いに完全に独立しているため、ネットワークはどれが互いに似ているかを知る方法がありません。
これらの問題はどちらも、カテゴリ特徴量を埋め込み列で表すことで解決できます。
各カテゴリには、たとえば 5 つの値を含む小さなベクトルがあるという考え方です。ただし、ワンホット ベクトルとは異なり、値は通常 0 ではありません。値は重みであり、ニューラル ネットワークの基本機能に使用される重みと同様です。違いは、各カテゴリに一連の重み (この場合は 5 つ) があることです。
埋め込みベクトルの各値は、カテゴリの特徴と考えることができます。したがって、2 つのカテゴリが互いに非常に似ている場合、それらの埋め込みベクトルも非常に似ているはずです。
参考: https://cloudacademy.com/google/introduction-to-google-cloud-machine-learning-engine-course/a-wide-and-deep-model.html

Cloud Dataproc の利点の 1 つは、コストが低いことです。Dataproc では、実際に使用した分に対して分単位で課金され、最低 10 分間という低料金の請求期間が設定されています。
参考: https://cloud.google.com/dataproc/docs/concepts/overview