感情分析とは、テキストやスピーチに表現された感情、意見、態度を特定し抽出するプロセスです。感情分析は、企業が顧客のフィードバック、満足度、嗜好を理解するのに役立ちます。感情分析ツールの構築には、入力データと出力形式に応じてさまざまなアプローチがあります。一般的なアプローチには、次のようなものがあります。
音声録音から直接感情を抽出する：この手法では、音高、音の強さ、韻律などの音響的特徴を用いて話者の感情を推測します。この手法は声の表現のニュアンスや微妙な違いを捉えることができますが、ラベル付けされた音声録音の大規模かつ多様なデータセットが必要となります。このようなデータセットは容易に入手できない場合もあります。さらに、この手法では、感情に影響を与える可能性のある音声の意味的情報や文脈的情報を考慮していない可能性があります。
* 音声をテキストに変換し、単語に基づいてモデルを構築する：このアプローチでは、自動音声認識（ASR）を使用して音声録音をテキストに書き起こし、単語の頻度、極性、感情価などの語彙的特徴を使用してテキストの感情を推測します。このアプローチは、既存のテキストベースの感情分析モデルとツールを活用できますが、ASRシステムの精度と信頼性、自然言語の曖昧さと変動性、音声の音響情報の損失など、いくつかの課題も生じます。
* 音声をテキストに変換し、文に基づいて感情を抽出する: このアプローチでは、ASR を使用して音声録音をテキストに書き起こし、次に文構造、語順、意味などの構文的および意味的特徴を使用してテキストの感情を推測します。このアプローチは、否定、皮肉、皮肉など、感情に影響を与える可能性のある自然言語の高レベルで複雑な側面を捉えることができます。ただし、このアプローチには、より高度な技術と
* 構文解析、依存関係分析、意味役割ラベリングなどの高度な自然言語処理技術は、容易に入手できない、または実装が容易ではない場合があります。
* 音声をテキストに変換し、構文解析を使用して感情を抽出する: このアプローチでは、ASRを使用して音声録音をテキストに書き起こし、次に品詞タグ付け、フレーズチャンキング、構成要素解析などの構文解析を使用してテキストの感情を推測します。
この手法では、名詞、動詞、形容詞、節など、感情を示す可能性のある自然言語の文法的・構造的要素を特定できます。しかし、この手法では、話し手の意図、口調、状況など、感情に影響を与える可能性のある発話の語用論的・文脈的情報を考慮していない場合があります。
録音された電話会話から顧客の感情を予測する感情分析ツールを構築するというユースケースでは、音声をテキストに変換し、文に基づいて感情を抽出するのが最善のアプローチです。
このアプローチは、感情分析ツールの精度、複雑さ、実現可能性の間のトレードオフのバランスを取りながら、コンタクトセンターに電話をかけた顧客の性別、年齢、文化の違いがモデル開発パイプラインのどの段階や結果にも影響を与えないようにします。また、このアプローチは、極性（肯定的、否定的、中立的）、強度（強い、弱い）、感情（怒り、喜び、悲しみなど）といった、さまざまな種類の感情レベルにも対応できます。したがって、音声をテキストに変換し、文に基づいて感情を抽出することが、このユースケースに最適なアプローチです。

データパイプラインとは、通常、分析、変換、または保存を目的として、1 つ以上のソースから 1 つ以上の宛先へデータを移動する一連の手順またはプロセスのことです。データパイプラインは、データソース、データ処理ツール、データストレージシステム、データ分析ツールなどのさまざまなコンポーネントを使用して設計できます。1 各通話における顧客の感情を分析するためのデータパイプラインを設計するには、次の要件と制約を考慮する必要があります。
コールセンターでは1日に100万件以上の電話がかかってきて、データはクラウドストレージに保存されます。つまり、データは大規模で非構造化されており、分散しているため、音声、テキスト、画像など、さまざまな種類のデータ形式を処理できる、拡張性と効率性に優れたデータ処理ツールが必要となります。
収集されたデータは、通話の発信元地域外に持ち出してはならず、個人識別情報（PII）を保存または分析してはなりません。これは、データが機密性が高く、データプライバシーおよびコンプライアンス規制の対象となることを意味し、データ暗号化、アクセス制御、および地域ポリシーを適用できる安全で信頼性の高いデータストレージシステムが必要となります。
* データサイエンスチームは、SQL ANSI を必要とする視覚化およびアクセス用のサードパーティツールを持っています。
2011年版に準拠したインターフェース。これは、データ分析ツールがデータパイプラインとは独立した外部ツールであり、SQLクエリと操作をサポートできる標準的で互換性のあるデータインターフェースを必要とすることを意味します。
データ処理と分析のためのコンポーネントを選択する最良の方法の1つは、データ処理にDataflowを、分析にBigQueryを使用することです。Dataflowは、バッチ処理やストリーム処理、抽出変換ロード（ETL）、データ統合などのデータ処理のためにApache Beamパイプラインを実行するフルマネージドサービスです。BigQueryは、サーバーレスでスケーラブルかつコスト効率の高いデータウェアハウスであり、大規模データに対して高速かつ複雑なクエリを実行できます。23 このユースケースでは、DataflowとBigQueryを使用することで、いくつかの利点があります。
* Dataflowは、クラウドストレージからの大規模で非構造化データを並列かつ分散的に処理し、音声からテキストへの変換、感情スコアの抽出、個人情報の匿名化など、さまざまな変換を適用できます。また、Dataflowはバッチ処理とストリーム処理の両方に対応しており、通話データのリアルタイムまたはほぼリアルタイムでの分析を可能にします。
* BigQuery は、Dataflow から処理されたデータを安全かつ信頼性の高い方法で保存および分析し、データの暗号化、アクセス制御、および地域ポリシーを適用できます。BigQuery は SQL ANSI- もサポートしています。
2011年版に準拠したインターフェースにより、データサイエンスチームはサードパーティ製のツールを使って可視化やデータアクセスを行うことができます。BigQueryは、AI Platform、Data Studio、Lookerなど、さまざまなGoogle Cloudサービスやツールとも統合可能です。
* DataflowとBigQueryはどちらもGoogle Cloudエコシステムの一部であり、CSV、JSON、Avro、Parquetなど様々なデータ形式をサポートしているため、シームレスに連携できます。また、DataflowとBigQueryは、スケーラビリティ、パフォーマンス、コスト効率など、Google Cloudインフラストラクチャのメリットを活用できます。
他の選択肢は、適切でも実現可能でもありません。データ処理に Pub/Sub を、分析に Datastore を使用するのは理想的ではありません。Pub/Sub は主にイベント駆動型で非同期のメッセージング向けに設計されており、データ処理向けではないためです。また、Datastore は主に低遅延で高スループットのキーバリュー操作向けに設計されており、分析向けではないためです。データ処理に Cloud Function を、分析に Cloud SQL を使用するのも最適ではありません。Cloud Function はメモリ、CPU、実行時間に制限があり、複雑なデータ処理をサポートしていないためです。また、Cloud SQL はリレーショナルデータベースサービスであり、大規模データに対してはスケーリングが不十分な場合があります。データ処理に Cloud Composer を、分析に Cloud SQL を使用するのも適切ではありません。Cloud Composer は主に複数のシステムにわたる複雑なワークフローのオーケストレーション向けに設計されており、データ処理向けではないためです。また、Cloud SQL はリレーショナルデータベースサービスであり、大規模データに対してはスケーリングが不十分な場合があります。
参考文献: 1: データパイプライン 2: Dataflow の概要 3: BigQuery の概要 : [Dataflow ドキュメント] :
[BigQueryドキュメント]