Leave One Out (LOO) 相互検証
K = n (観測値の数) と設定すると、n 倍が得られ、Leave-one out 相互検証 (LOO) と呼ばれ、K 倍アプローチの特殊なケースです。
LOO CV は役立つ場合もありますが、通常はデータを十分に揺るがしません。各フォールドからの推定値は高度に相関しているため、その平均には大きな差異が生じる可能性があります。
これが、通常の選択が K=5 または 10 である理由です。これは、バイアスと分散のトレードオフの適切な妥協点となります。
特徴エンジニアリングの実行
テストレット 1
ケーススタディ
概要
あなたは、プロのスポーツ イベントにデータ サイエンスを提供する会社のデータ サイエンティストです。モデルは、次のビジネス目標を達成するために、グローバルおよびローカル市場データを使用します。
* 群衆の反応からの音声に基づいて、スポーツ イベントでのモバイル デバイス ユーザーの感情を理解します。
* 広告に反応するユーザーの傾向を評価します。
* モバイル デバイスに配信される広告のスタイルをカスタマイズします。
* ビデオを使用してペナルティ イベントを検出します
現在の環境
* ペナルティ イベントの検出に使用されるメディアはコンシューマー デバイスによって提供されます。メディアには、スポーツ イベント中に撮影され、ソーシャル メディアを使用して共有された画像やビデオが含まれる場合があります。画像やビデオのサイズや形式はさまざまです。
* モデル構築に利用できるデータは、7 年間のスポーツ イベント メディアで構成されています。スポーツ イベント メディアには次のものが含まれます。記録されたビデオトランスクリプトまたはラジオ解説、およびスポーツイベント中にキャプチャされた関連するソーシャルメディアフィードのログ。
* 群衆の感情には、イベント参加者によってモノラル形式とステレオ形式の両方で提出された音声録音が含​​まれます。
ペナルティの検出と感情
* データ サイエンティストは、ペナルティ イベント検出のために複数の機械学習モデルを使用してインテリジェントなソリューションを構築する必要があります。
* データ サイエンティストは、機械学習パイプラインでの自動特徴量エンジニアリングとモデル構築を使用して、ローカル環境でノートブックを構築する必要があります。
* 動的ワーカー割り当てを備えた Spark インスタンスを使用して再トレーニングするには、ノートブックをデプロイする必要があります。
* ノートブックは、データのソースのみを再コード化するために、新しい Spark インスタンス上で同じコードを実行する必要があります。
* グローバル ペナルティ検出モデルは、トレーニング中に動的ランタイム グラフ計算を使用してトレーニングする必要があります。
* ローカル ペナルティ検出モデルは BrainScript を使用して作成する必要があります。
* ローカル群衆センチメント モデルの実験では、ローカル ペナルティ検出データを組み合わせる必要があります。
* 群衆感情モデルは、歓声や既知のキャッチフレーズなどの既知の音を識別する必要があります。個々の群衆センチメント モデルは、類似した音を検出します。
* ローカル モデルのすべての共有特徴量は連続変数です。
* 共有機能は倍精度を使用する必要があります。後続のレイヤーには、集計移動平均と標準偏差のメトリクスが使用可能である必要があります。
広告
運用の最初の数週間で、次のことが観察されました。
* 広告レスポンスの評価が却下されました。
* ドロップ数は広告スタイル間で一貫していませんでした。
* トレーニング データと本番データにわたる特徴の分布が一貫していない 分析によると、ユーザーの位置と行動に関する 100 の数値特徴のうち、位置情報ソースから得られる 47 の特徴が生の特徴として使用されています。バイアスと分散の問題を解決するために提案されている実験は、10 個の線形に相関のない特徴を設計することです。
* 初期データ検出では、群衆センチメント モデルに使用されるトレーニング データ内のターゲット状態の広範囲の密度が示されます。
* すべてのペナルティ検出モデルは、確率的勾配降下 (SGD) を使用した推論フェーズの実行が遅すぎることを示しています。
* 音声サンプルによると、キャッチ フレーズの長さは地域によって 25% ～ 47% の間で異なります。
* グローバル ペナルティ検出モデルのパフォーマンスは、トレーニング セットと検証セットを比較すると、分散は低くなりますが、バイアスが高くなります。機能の変更を実装する前に、すべてのトレーニングおよび検証ケースを使用してバイアスと分散を確認する必要があります。
* 広告応答モデルは各イベントの開始時にトレーニングされ、スポーツ イベント中に適用される必要があります。
* 市場セグメンテーション モデルは、同様の広告応答履歴に合わせて最適化する必要があります。
* サンプリングでは、同じ機能を共有するローカル セグメンテーション モデルとグローバル セグメンテーション モデルの間で排他的に相互的および集団的を保証する必要があります。
* ローカル市場セグメンテーション モデルは、広告に反応するユーザーの傾向を決定する前に適用されます。
* 広告応答モデルは、機能の非線形境界をサポートする必要があります。
* 広告傾向モデルでは、0.45 のカットしきい値が使用され、加重カッパが 0.45 から逸脱すると再トレーニングが発生します。
0.1 +/- 5%。
* 広告傾向モデルでは、次の図に示すコスト要素が使用されます。

* 広告傾向モデルでは、次の図に示す提案されたコスト要因が使用されます。

* 現在および提案されているコスト要因シナリオのパフォーマンス曲線を次の図に示します。

説明

ボックス 1: 正のスキュー
正のスキュー値は、分布が右に偏っていることを意味します。
ボックス 2: 負のスキュー
負の歪度値は、分布が左に偏っていることを意味します。
参考文献:
https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/compute-elementary-statistics

参照：
https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/filter-based-feature-selection

説明
実行は、実験の 1 回の試行を表します。実行は、トライアルの非同期実行を監視し、メトリクスを記録してトライアルの出力を保存し、結果を分析してトライアルによって生成されたアーティファクトにアクセスするために使用されます。
実行クラスの get_all_logs メソッドは、実行のすべてのログをディレクトリにダウンロードします。
参照：
https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.core.run(クラス)