Dataflow を使用してストリーミング パイプラインを実行し、ホッピング ウィンドウを使用して、データが到着するとデータをグループ化しています。一部のデータは遅れて到着しているものの、遅れたデータとしてマークされていないため、下流で集計が不正確になっていることに気付きました。適切なウィンドウで遅れたデータをキャプチャできるソリューションを見つける必要があります。どうすればよいでしょうか。

すべての Google Cloud Bigtable クライアント リクエストはフロントエンド サーバーを経由して Cloud Bigtable ノードに送信されます。

ケーススタディ: 2、
フローロジスティックのケーススタディ
会社概要
Flowlogistic は、大手の物流およびサプライ チェーン プロバイダーです。同社は、世界中の企業がリソースを管理し、最終目的地まで輸送するのを支援しています。同社は急速に成長し、鉄道、トラック、航空機、海上輸送を含むサービスを拡大しています。
会社概要
当社は地域のトラック運送会社としてスタートし、その後他の物流市場へ事業を拡大しました。
インフラストラクチャを更新していないため、注文と出荷の管理と追跡がボトルネックになっています。業務を改善するために、Flowlogistic は荷物レベルで出荷をリアルタイムで追跡する独自のテクノロジーを開発しました。しかし、Apache Kafka に基づくテクノロジー スタックでは処理量に対応できないため、これを導入できません。さらに、Flowlogistic は注文と出荷をさらに分析して、リソースを最適に導入する方法を決定したいと考えています。
ソリューションコンセプト
Flowlogistic は、クラウドを使用して次の 2 つの概念を実装したいと考えています。
リアルタイムの在庫追跡システムで自社の独自技術を使用して、荷物の位置を示します。構造化データと非構造化データの両方を含むすべての注文と出荷ログを分析し、リソースを最も効果的に配備する方法、どの市場に情報を展開するかを決定します。また、予測分析を使用して、出荷が遅れる時期を早めに把握したいと考えています。
既存の技術環境
Flowlogistic アーキテクチャは単一のデータ センターに存在します。
データベース
2 つのクラスターに 8 台の物理サーバー
SQL Server - ユーザーデータ、インベントリ、静的データ
物理サーバー 3 台
Cassandra - メタデータ、メッセージ追跡
10 台の Kafka サーバー - メッセージの集約とバッチ挿入の追跡
アプリケーション サーバー - 顧客フロントエンド、注文/カスタム用のミドルウェア 20 台の物理サーバーにわたる 60 台の仮想マシン Tomcat - Java サービス Nginx - 静的コンテンツ バッチ サーバー ストレージ アプライアンス 仮想マシン (VM) ホスト用の iSCSI ファイバー チャネル ストレージ エリア ネットワーク (FC SAN) SQL サーバー ストレージ ネットワーク接続ストレージ (NAS) イメージ ストレージ、ログ、バックアップ Apache Hadoop /Spark サーバー コア データ レイク データ分析ワークロード
その他サーバー 20 台
Jenkins、監視、要塞ホスト、
ビジネス要件
Build a reliable and reproducible environment with scaled panty of production. Aggregate data in a centralized Data Lake for analysis Use historical data to perform predictive analytics on future shipments Accurately track every shipment worldwide using proprietary technology Improve business agility and speed of innovation through rapid provisioning of new resources Analyze and optimize architecture for performance in the cloud Migrate fully to the cloud if all other requirements are met Technical Requirements Handle both streaming and batch data Migrate existing Hadoop workloads Ensure architecture is scalable and elastic to meet the changing demands of the company.
Use managed services whenever possible
Encrypt data flight and at rest
Connect a VPN between the production data center and cloud environment SEO Statement We have grown so quickly that our inability to upgrade our infrastructure is really hampering further growth and efficiency. We are efficient at moving shipments around the world, but we are inefficient at moving data around.
We need to organize our information so we can more easily understand where our customers are and what they are shipping.
CTO Statement
IT has never been a priority for us, so as our data has grown, we have not invested enough in our technology. I have a good staff to manage IT, but they are so busy managing our infrastructure that I cannot get them to do the things that really matter, such as organizing our data, building the analytics, and figuring out how to implement the CFO' s tracking technology.
CFO Statement
Part of our competitive advantage is that we penalize ourselves for late shipments and deliveries. Knowing where out shipments are at all times has a direct correlation to our bottom line and profitability.
Additionally, I don't want to commit capital to building out a server environment.
Flowlogistic wants to use Google BigQuery as their primary analysis system, but they still have Apache Hadoop and Spark workloads that they cannot move to BigQuery. Flowlogistic does not know how to store the data that is common to both workloads. What should they do?

Cloud Dataproc では、_____ 課金により実際に使用した分だけ料金が請求されます。

Cloud Dataproc クラスタでスケジュールに従って実行される Spark ジョブがいくつかあります。ジョブの中には順番に実行されるものもあれば、同時に実行されるものもあります。このプロセスを自動化する必要があります。どうすればよいでしょうか。