トレーニング データの予測モデルを評価する場合の欠点は、モデルが新しい未知のデータに対してどの程度一般化されているかが分からないことです。未知のテスト データセットでの精度ではなく、トレーニング データセットでの精度を重視して選択されたモデルは、未知のテスト データセットでの精度が低くなる可能性が非常に高くなります。その理由は、モデルがそれほど一般化されていないためです。トレーニング データセット内の構造に特化しています。これを過学習といいます。

https://cloud.google.com/automl-tables/docs/prepare
トピック 1、フローロジスティックのケーススタディ
会社概要
Flowlogistic は、物流およびサプライ チェーンの大手プロバイダーです。これらは、世界中の企業がリソースを管理し、最終目的地に輸送するのに役立ちます。同社は急速に成長し、そのサービスを鉄道、トラック、航空機、海洋輸送にまで拡大しました。
会社背景
同社は地域のトラック運送会社としてスタートし、その後他の物流市場にも拡大しました。インフラストラクチャを更新していないため、注文と出荷の管理と追跡がボトルネックになっています。業務を改善するために、Flowlogistic は荷物レベルでリアルタイムに出荷を追跡する独自のテクノロジーを開発しました。ただし、Apache Kafka に基づくテクノロジー スタックが処理量をサポートできないため、これをデプロイすることはできません。さらに、Flowlogistic は注文と出荷をさらに分析して、リソースを最適に配置する方法を決定したいと考えています。
ソリューションコンセプト
Flowlogistic は、クラウドを使用して 2 つのコンセプトを実装したいと考えています。
独自のテクノロジーをリアルタイム在庫追跡システムに使用し、荷物の位置を示します。
構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行し、リソースを展開する最適な方法と情報を拡大する市場を決定します。また、予測分析を使用して、出荷がいつ遅れるかを早期に把握したいと考えています。
既存の技術環境
フローロジスティック アーキテクチャは単一のデータ センターに存在します。
データベース
2 つのクラスターに 8 台の物理サーバー
SQL Server - ユーザー データ、インベントリ、静的データ
3 つの物理サーバー
Cassandra - メタデータ、メッセージの追跡
10 台の Kafka サーバー - メッセージの集約とバッチ挿入の追跡
アプリケーションサーバー - 顧客フロントエンド、注文/通関用ミドルウェア
20 台の物理サーバーに 60 台の仮想マシン
Tomcat - Java サービス
Nginx - 静的コンテンツ
バッチサーバー
ストレージ アプライアンス
仮想マシン (VM) ホスト用の iSCSI
ファイバー チャネル ストレージ エリア ネットワーク (FC SAN) - SQL サーバー ストレージ
ネットワーク接続ストレージ (NAS) イメージ ストレージ、ログ、バックアップ
Apache Hadoop /Spark サーバー
コアデータレイク
データ分析のワークロード
20 のさまざまなサーバー
Jenkins、モニタリング、要塞ホスト、
ビジネス要件
スケールの大きな実稼働環境を使用して、信頼性が高く再現可能な環境を構築します。
分析のために一元化されたデータ レイクにデータを集約する
履歴データを使用して将来の出荷に関する予測分析を実行する
独自のテクノロジーを使用して世界中のすべての出荷を正確に追跡します
新しいリソースの迅速なプロビジョニングにより、ビジネスの機敏性とイノベーションの速度を向上させます。
クラウドでのパフォーマンスのためにアーキテクチャを分析して最適化する
他のすべての要件が満たされている場合は、クラウドに完全に移行します。
技術的要件
ストリーミング データとバッチ データの両方を処理する
既存の Hadoop ワークロードを移行する
企業の変化する要求に対応できるように、アーキテクチャが拡張性と弾力性を備えていることを確認します。
可能な限りマネージド サービスを使用する
データ フライトと保存時の暗号化
実稼働データセンターとクラウド環境の間で VPN を接続する
SEO ステートメント
当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を実際に妨げています。当社は世界中で荷物を効率的に移動させますが、データを移動させるのは非効率的です。
顧客がどこにいるのか、何を出荷しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTO ステートメント
当社にとって IT はこれまで決して優先事項ではなかったので、データが増大する一方でテクノロジーへの投資が十分ではありませんでした。IT を管理する優秀なスタッフがいますが、彼らはインフラストラクチャの管理で忙しいため、データの整理、分析の構築、CFO の実装方法の検討など、本当に重要なことを彼らにやってもらうことができません。追跡技術。
CFO ステートメント
当社の競争上の優位性の 1 つは、出荷と配達の遅延に対してペナルティを課していることです。出荷品がどこにあるかを常に把握することは、当社の収益と収益性と直接的な相関関係があります。さらに、サーバー環境の構築に資金を投入したくありません。

トピック 2、MJTelco のケーススタディ
会社概要
MJTelco は、急速に成長している世界中の十分なサービスが提供されていない市場にネットワークを構築することを計画している新興企業です。
同社は革新的な光通信ハードウェアに関する特許を取得しています。これらの特許に基づいて、安価なハードウェアを使用して信頼性の高い高速バックボーン リンクを多数作成できます。
会社背景
経験豊富な通信会社幹部によって設立された MJTelco は、もともと宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。運用の基礎として、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成する必要があります。同社のハードウェアは安価であるため、場所の可用性とコストに対する動的な地域政治の影響を考慮して、ネットワークを過剰に展開することを計画しています。
同社の管理および運用チームは世界中に配置されており、システム内のデータ利用者と提供の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社の研究所で概念実証 (PoC) プロジェクトを成功させています。彼らには 2 つの主要なニーズがあります。
* インストール数が 50,000 を超える場合に生成される大幅に多くのデータ フローをサポートするために、PoC を拡張および強化します。
* 機械学習サイクルを改良して、トポロジー定義の制御に使用する動的モデルを検証および改善します。
また、MJTelco は、実験の実行、新機能の導入、実稼働顧客へのサービスのニーズを満たすために、開発/テスト、ステージング、実稼働という 3 つの異なるオペレーティング環境を使用します。
ビジネス要件
* 最小限のコストで運用環境をスケールアップし、予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化します。
* 独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
* 分散した研究員が分析用データに確実かつタイムリーにアクセスできるようにする
* 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする隔離された環境を維持します。
技術的要件
テレメトリ データの安全かつ効率的な転送と保存を確保します。
インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
1 日あたり約 100m レコードを保存する最大 2 年間のデータを追跡するデータ テーブルに対する分析とプレゼンテーションが可能 テレメトリ フローと実稼働学習サイクルの両方におけるデータ パイプラインの問題の認識に焦点を当てたモニタリング インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されているため、コスト面でのメリットが得られます。信頼性と容量の約束を満たすために、大規模な分散データ パイプラインを迅速に安定させる必要があります。
CTO ステートメント
当社のパブリック クラウド サービスは、宣伝どおりに動作する必要があります。データを拡張し、安全に保つためのリソースが必要です。
データサイエンティストがモデルを注意深く研究し、迅速に適応できる環境も必要です。
私たちは自動化に依存してデータを処理しているため、反復中に機能する開発環境とテスト環境も必要です。
CFO ステートメント
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持できません。また、非常に多くのデータ フィードを監視するための運用チームに人員を配置する余裕はないため、自動化とインフラストラクチャに依存することになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができるようになります。

このオプションは、各テーブルを個別に処理し、新しいデータが Cloud Storage バケットに到着した場合にのみ DAG をトリガーできるため、ユースケースにとって最も効率的で保守可能なワークフローです。Dataproc と BigQuery オペレータを使用すると、各テーブルの読み込みジョブと変換ジョブを簡単に調整し、これらのサービスのスケーラビリティとパフォーマンスを活用できます12。テーブルごとに個別の DAG を作成することで、各テーブルの変換ロジックとパラメータをカスタマイズでき、単一の共有 DAG3 の複雑さとオーバーヘッドを回避できます。Cloud Storage オブジェクト トリガーを使用すると、対応するテーブルの DAG をトリガーする Cloud Function を起動でき、データができるだけ早く処理されるようにし、固定スケジュールで DAG を実行するアイドル時間とコストを削減できます4。
オプション A は、データの到着に関係なく 1 時間ごとに DAG を実行し、すべてのテーブルに単一の共有 DAG を使用するため、効率的ではありません。そのため、保守とデバッグが困難になります。オプション C も、DAG を 1 時間ごとに実行し、Cloud Storage オブジェクト トリガーを利用しないため、効率的ではありません。オプション D は、すべてのテーブルに単一の共有 DAG を使用し、バケットからのデータの取り込みを簡素化できる Cloud Storage オペレーターを使用しないため、保守可能ではありません。参考文献:
*1: Dataproc オペレーター | クラウドコンポーザー | グーグルクラウド
* 2: BigQuery 演算子 | クラウドコンポーザー | グーグルクラウド
* 3: サービス オーケストレーションには Workflows または Cloud Composer を選択します | ワークフロー | グーグルクラウド
* 4: クラウド ストレージ オブジェクト トリガー | クラウド機能のドキュメント | グーグルクラウド
* [5]: DAG のトリガー | クラウドコンポーザー | グーグルクラウド
* [6]: クラウドストレージ事業者 | クラウドコンポーザー | グーグルクラウド