説明/参考文献: https://medium.com/mlreview/a-simple-deep-learning-model-for-stock-price-prediction-using- tensorflow-30505541d877

マテリアライズド ビューは、クエリの結果を定期的にキャッシュすることでパフォーマンスと効率を向上させる事前計算済みのビューです。BigQuery は、マテリアライズド ビューから事前計算された結果を活用し、可能な限りベーステーブルから変更部分のみを読み取って最新の結果を計算します。マテリアライズド ビューは、一般的なクエリや繰り返しクエリといった特性を持つワークロードのパフォーマンスを大幅に向上させることができます。また、マテリアライズド ビューは、大規模なテーブルのフィルタリングや集計など、計算コストが高くデータセット結果が小さいクエリを最適化することもできます。マテリアライズド ビューはベーステーブルが変更されると自動的に更新されるため、常に最新のデータを返します。クエリの一部がマテリアライズド ビューへのクエリによって解決できる場合、BigQuery オプティマイザーはマテリアライズド ビューを使用してベーステーブルへのクエリを処理することもできます。参考資料:
* マテリアライズドビューの紹介
* マテリアライズドビューを作成する
* BigQuery マテリアライズド ビューの簡素化: 作成手順と 3 つのベスト プラクティス
* BigQueryのマテリアライズドビュー

参照：
https://cloud.google.com/blog/products/gcp/using-bigquery-and-firebase-analytics-to-understandyour-mobile-app

トピック1、フローロジスティックのケーススタディ
会社概要
Flowlogisticは、物流およびサプライチェーンのリーディングプロバイダーです。世界中の企業のリソース管理と最終目的地への輸送を支援しています。同社は急成長を遂げ、鉄道、トラック、航空機、海上輸送など、サービスを拡大しています。
会社概要
同社は地域密着型のトラック輸送会社としてスタートし、その後、他の物流市場にも進出しました。インフラの更新が遅れていたため、注文と出荷の管理・追跡がボトルネックとなっていました。業務改善のため、Flowlogisticは小包レベルで出荷をリアルタイムに追跡する独自の技術を開発しました。しかし、Apache Kafkaをベースとした既存の技術スタックでは処理量に対応できず、導入に至っていません。さらに、Flowlogisticは注文と出荷をさらに分析し、最適なリソース配分方法を検討したいと考えています。
ソリューションコンセプト
Flowlogistic は、クラウドを使用して次の 2 つの概念を実装したいと考えています。
リアルタイム在庫追跡システムに独自の技術を活用し、荷物の所在を表示します。構造化データと非構造化データの両方を含むすべての注文と出荷ログを分析し、最適なリソース配分方法や、どの市場への情報展開を行うべきかを決定します。また、予測分析を活用して、出荷の遅延を早期に把握したいと考えています。
既存の技術環境
Flowlogistic アーキテクチャは単一のデータ センターに存在します。
データベース
2つのクラスターに8台の物理サーバー
SQL Server - ユーザーデータ、インベントリ、静的データ
物理サーバー3台
Cassandra - メタデータ、メッセージ追跡
10 台の Kafka サーバー - メッセージの集約とバッチ挿入の追跡
アプリケーション サーバー - 顧客フロントエンド、注文/カスタム用のミドルウェア
20台の物理サーバーにまたがる60台の仮想マシン
Tomcat - Java サービス
Nginx - 静的コンテンツ
バッチサーバー
ストレージアプライアンス
仮想マシン (VM) ホスト用の iSCSI
ファイバーチャネルストレージエリアネットワーク（FC SAN） - SQL Serverストレージ
ネットワーク接続ストレージ（NAS）イメージストレージ、ログ、バックアップ
Apache Hadoop /Spark サーバー
コアデータレイク
データ分析ワークロード
その他サーバー20台
Jenkins、監視、要塞ホスト、
ビジネス要件
スケールされた生産パンティを備えた信頼性が高く再現可能な環境を構築します。
分析のために集中管理されたデータレイクにデータを集約する
履歴データを使用して将来の出荷に関する予測分析を実行します。独自のテクノロジーを使用して、世界中のすべての出荷を正確に追跡します。新しいリソースを迅速にプロビジョニングすることで、ビジネスの俊敏性とイノベーションのスピードを向上させます。クラウドでのパフォーマンスのためにアーキテクチャを分析し、最適化します。他のすべての要件が満たされている場合は、クラウドに完全に移行します。技術要件 ストリーミング データとバッチ データの両方を処理します。既存の Hadoop ワークロードを移行します。会社の変化する需要を満たすために、アーキテクチャがスケーラブルで柔軟であることを確認します。
可能な限りマネージドサービスを利用する
飛行中および保存中のデータを暗号化
本番データセンターとクラウド環境の間にVPNを接続する
SEOステートメント
当社は急速な成長を遂げたため、インフラのアップグレードができず、それがさらなる成長と効率化の妨げとなっています。世界中への貨物輸送は効率的ですが、データの移動は非効率です。
顧客がどこにいるのか、何を発送しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTO声明
ITは当社にとってこれまで優先事項ではありませんでした。そのため、データの増加に伴い、テクノロジーへの投資が不十分になっていました。IT管理を担当する優秀なスタッフはいますが、彼らはインフラ管理に忙殺されており、データの整理、分析機能の構築、CFOのトラッキングテクノロジーの導入方法の検討といった、本当に重要な業務に時間を割くことができません。
CFO声明
当社の競争優位性の一つは、出荷や納品の遅延に対して自らペナルティを課すことです。出荷品の現在位置を常に把握することは、当社の収益と利益率に直接的に影響します。加えて、サーバー環境の構築に資本を投入したくありません。