BigQuery supports nested and repeated fields, which are complex data types that can represent hierarchical and one-to-many relationships within a single table. By using nested and repeated fields, you can denormalize your data model and reduce the number of joins required for your queries. This can improve the performance and efficiency of your data analytics queries, as joins can be expensive and require shuffling data across nodes.
Nested and repeated fields also preserve the data integrity and avoid data duplication. In this scenario, the sales_transaction_header and sales_transaction_line tables have a tightly coupled immutable relationship, meaning that each header row corresponds to one or more line rows, and the data is rarely modified after load.
Therefore, it makes sense to create a single sales_transaction table that holds the sales_transaction_header information as rows and the sales_transaction_line rows as nested and repeated fields. This way, you can query the sales transaction data without joining two tables, and use dot notation or array functions to access the nested and repeated fields. For example, the sales_transaction table could have the following schema:
Table
Field name
Type
Mode
id
INTEGER
NULL可能
注文時間
タイムスタンプ
NULL可能
顧客ID
整数
NULL可能
行項目
記録
繰り返し
行項目.sku
弦
NULL可能
行項目の数量
整数
NULL可能
行項目価格
フロート
NULL可能
各注文の合計金額を照会するには、次の SQL ステートメントを使用できます。
構文
SELECT id、SUM(line_items.quantity * line_items.price) AS total_amount
sales_transaction から
GROUP BY id;
AI によって生成されたコードです。慎重に確認して使用してください。詳細については FAQ をご覧ください。
参考文献:
* ネストされたフィールドと繰り返しフィールドを使用する
* BigQuery の説明: 結合、ネスト、繰り返しデータの操作
* BigQuery の配列 - クエリ パフォーマンスを向上させ、ストレージを最適化する方法

トピック 3、MJTelco のケース スタディ
会社概要
MJTelco は、世界中で急速に成長しているがサービスが行き届いていない市場にネットワークを構築することを計画しているスタートアップ企業です。
同社は革新的な光通信ハードウェアの特許を保有しており、これらの特許に基づいて、安価なハードウェアで信頼性の高い高速バックボーンリンクを多数構築できます。
会社概要
経験豊富な通信会社の幹部によって設立された MJTelco は、宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。同社の業務の基盤となるのは、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成することです。ハードウェアは安価であるため、同社はネットワークを過剰に展開して、地域政治の変動が場所の可用性とコストに与える影響を考慮に入れることを計画しています。
同社の管理および運用チームは世界中に配置されており、システム内のデータ コンシューマーとデータ提供者の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社のラボで概念実証 (PoC) プロジェクトを成功させています。同社には主に 2 つのニーズがあります。
* インストール数が 50,000 を超える場合に生成されるデータ フローを大幅に増やせるように、PoC を拡張および強化します。
* 機械学習サイクルを改良して、トポロジ定義を制御するために使用する動的モデルを検証および改善します。
MJTelco は、実験の実行、新機能の導入、実稼働顧客へのサービス提供のニーズを満たすために、開発/テスト、ステージング、実稼働の 3 つの個別の運用環境も使用します。
ビジネス要件
* 予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化し、最小限のコストで実稼働環境を拡張します。
* 最先端の機械学習と分析を保護するために、独自のデータのセキュリティを確保します。
* 分散した研究員が分析するためのデータに信頼性とタイムリーなアクセスを提供する
* 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする分離された環境を維持します。
技術要件
テレメトリデータの安全かつ効率的な転送と保存を確保する
インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
1 日あたり約 1 億件のレコードを保存し、最大 2 年間のデータを追跡するデータ テーブルに対する分析とプレゼンテーションを可能にします。テレメトリ フローと実稼働学習サイクルの両方でのデータ パイプラインの問題を認識することに重点を置いた監視インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されており、コスト面で有利です。信頼性と容量のコミットメントを満たすには、大規模な分散データ パイプラインを迅速に安定化する必要があります。
CTO 声明
パブリック クラウド サービスは宣伝どおりに動作する必要があります。拡張可能で、データを安全に保つリソースが必要です。
また、データ サイエンティストがモデルを慎重に研究し、迅速に適応できる環境も必要です。
データ処理には自動化が不可欠であるため、反復作業中に開発環境とテスト環境も機能させる必要があります。
CFOの声明
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持することはできません。また、多数のデータ フィードを監視する運用チームを配置する余裕もないため、自動化とインフラストラクチャに頼ることになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができます。

回帰は、連続した数値変数をモデル化して予測するための教師あり学習タスクです。
例としては、不動産価格、株価の変動、学生のテストの点数の予測などが挙げられます。
分類は、カテゴリ変数をモデル化して予測するための教師あり学習タスクです。例としては、従業員の離職、電子メール スパム、金融詐欺、学生の成績の予測などがあります。
クラスタリングは、データセット内の固有の構造に基づいて、観測値の自然なグループ化 (つまり、クラスター) を見つけるための教師なし学習タスクです。例としては、顧客のセグメンテーション、電子商取引における類似アイテムのグループ化、ソーシャル ネットワーク分析などがあります。
参考: https://elitedatascience.com/machine-learning-algorithms

When collecting and grouping data into windows, Beam uses triggers to determine when to emit the aggregated results of each window.
Processing time triggers. These triggers operate on the processing time - the time when the data element is processed at any given stage in the pipeline.
Event time triggers. These triggers operate on the event time, as indicated by the timestamp on each data element. Beam's default trigger is event time-based.
Reference: https://beam.apache.org/documentation/programming-guide/#triggers