説明
K 平均法クラスタリングは、市場調査チームが同様の満たされていないニーズを持つ患者のグループを取得するために使用するアルゴリズムです。K 平均法クラスタリングは、特徴の類似性に基づいてデータを k 個のクラスターに分割する教師なし学習手法です。このアルゴリズムは、各データ ポイントを最も近い重心を持つクラスターに繰り返し割り当て、収束するまで重心を更新します。K-means クラスタリングは、明白または直感的ではないデータ内のパターンやセグメントを識別するのに役立ちます。参考文献: [K-means クラスタリング - Wikipedia]、[Python で K-means クラスタリングを実行する方法]

説明
教師なし学習は、事前に定義された結果やフィードバックを使用せずに、ラベルのないデータ内のパターンや構造を見つけることを含む機械学習の一種です。教師なし学習は、クラスタリング、次元削減、異常検出、相関ルール マイニングなどのさまざまなタスクに使用できます。教師なし学習の一般的なアルゴリズムには次のようなものがあります。
主成分分析: 主成分分析 (PCA) は、データの分散の最大量を捕捉する新しい直交変数セット (主成分) にデータを変換することによって、データの次元を削減する方法です。PCA は、高次元データの簡素化と視覚化に役立つだけでなく、データからノイズや冗長性を除去することもできます。
K-means クラスタリング: K-means クラスタリングは、類似性または距離に基づいてデータを k 個のグループ (クラスター) に分割する方法です。K 平均法クラスタリングは、データ内の自然なグループや隠れたグループを発見したり、データ内の外れ値や異常を特定したりするのに役立ちます。
Apriori アルゴリズム: Apriori アルゴリズムは、トランザクション データ内で頻繁に出現するアイテムセット (頻繁に一緒に出現するアイテムのセット) と関連付けルール (アイテムがどのように関連付けられているかを説明するルール) を見つける方法です。Apriori アルゴリズムは、顧客の行動、好み、推奨事項など、データ内のパターンや洞察を発見するのに役立ちます。

説明
ライブ入力データの分布または特性が、モデルのトレーニングおよびテストに使用されるオフライン データの分布または特性と異なる場合、ML パイプラインでデータ スキューが発生します。これにより、モデルが新しいデータにうまく一般化できなくなるため、モデルのパフォーマンスと精度が低下する可能性があります。データの偏りは、ユーザーの行動の変化、データ収集方法、データ品質の問題、外部イベントなど、さまざまな要因によって発生する可能性があります。参考文献: 機械学習におけるトレーニングとサービングのスキューとは何ですか?、ML のデータ前処理: オプションと推奨事項

説明
K の最適な値は、データに過剰適合する可能性のあるクラスターが多すぎることを回避しながら、慣性またはクラスター内の二乗和を最小限に抑える値です。エルボ プロットは、K = 1 から K まで慣性が急激に減少していることを示しています。
K = 2 から K = 3 まで徐々に減少します。K = 3 以降は、K が増加しても慣性はあまり変化しません。したがって、エルボ点は K = 3 にあり、これがこのデータの K の最適値です。参考文献:
Python で K 平均法クラスタリングを実行する方法、K 平均法クラスタリング - ウィキペディア

説明
過学習は、正則化を使用しないことによる一般的なマイナスの副作用です。正則化は、損失関数にペナルティ項を追加することでモデルの複雑さを軽減する手法です。これにより、モデルがトレーニング データのノイズに適合する可能性のあるパラメーターが多すぎることを学習することがなくなります。モデルがトレーニング データを記憶しており、うまく一般化できないため、モデルがトレーニング データでは良好に機能するが、テスト データや新しいデータではパフォーマンスが低下する場合、過学習が発生します。参考文献: 正則化 (数学) - Wikipedia、機械学習における過学習: その正体とその防止方法