それらの特性の違いは、次のようにすぐに要約できます。
自動的に生成されたテーブルの説明

説明
ロジスティック回帰は、分類問題の機械学習で広く使用されています。特にトレーニング例の数が少ない場合、または学習するパラメーターの数が多い場合は、過剰適合を回避するために正則化が必要であることはよく知られています。特に、L1正則化ロジスティック回帰は、特徴選択によく使用され、多くの無関係な特徴が存在する場合に優れた一般化パフォーマンスを示すことが示されています。（Ng 2004; Goodman 2004）非正規化ロジスティック回帰は、目的関数を継続的に微分する制約のない凸最適化問題です。結果として、ニュートン法や共役勾配法などの標準的な凸最適化法を使用すると、かなり効率的に解くことができます。でも、L1正則化を追加すると、最適化問題の解決に計算コストがかかります。L1正則化がparameLogistic回帰のL1ノルム制約によって適用される場合、分類器であり、L1正則化は、予測できない入力の次元を無視するモデルを生成する傾向があります。これは、入力に多くの次元が含まれている場合に特に役立ちます。k最近傍分類も分類手法ですが、距離の概念に依存しています。高次元空間では、ほとんどすべてのデータポイントが他のデータポイントから「遠い」（次元の呪い）ため、これらの手法は機能しなくなります。ナイーブベイズは本質的に正則化されていません。ランダムフォレストは、アンサンブル手法を表しています。ただし、アンサンブル法は必ずしも高次元データに適しているとは限りません。L1正則化がparameLogistic回帰のL1ノルム制約によって適用される場合、分類器であり、L1正則化は、予測できない入力の次元を無視するモデルを生成する傾向があります。これは、入力に多くの次元が含まれている場合に特に役立ちます。k最近傍分類も分類手法ですが、距離の概念に依存しています。高次元空間では、ほとんどすべてのデータポイントが他のデータポイントから「遠い」（次元の呪い）ため、これらの手法は機能しなくなります。ナイーブベイズは本質的に正則化されていません。ランダムフォレストは、アンサンブル手法を表しています。ただし、アンサンブル法は必ずしも高次元データに適しているとは限りません。L1正則化がparameLogistic回帰のL1ノルム制約によって適用される場合、分類器であり、L1正則化は、予測できない入力の次元を無視するモデルを生成する傾向があります。これは、入力に多くの次元が含まれている場合に特に役立ちます。k最近傍分類も分類手法ですが、距離の概念に依存しています。高次元空間では、ほとんどすべてのデータポイントが他のデータポイントから「遠い」（次元の呪い）ため、これらの手法は機能しなくなります。ナイーブベイズは本質的に正則化されていません。ランダムフォレストは、アンサンブル手法を表しています。ただし、アンサンブル法は必ずしも高次元データに適しているとは限りません。
実際には、正則化の最大の理由は、1）スパースな予測子に対して高係数を生成しないことによって過剰適合を回避することだと思います。2）特にデータに共線性がある場合に、推定値を安定させるため。
1）正則化フレームワークに固有のものです。目的関数には2つの力が互いに引っ張られているため、意味のある損失の削減がない場合、正則化項からのペナルティの増加は、目的関数全体を改善しません。多くのノイズがモデルから自動的に除外されるため、これは優れたプロパティです。2）の例を示すと、同じ値を持つ2つの予測子がある場合、データマトリックスが特異であるために回帰アルゴリズムを実行すると、ストレートマトリックス反転を実行しようとするとベータ係数はInfになります。ただし、非常に小さな正則化ラムダを追加すると、係数値が同等の2つの変数間で均等に分割された安定したベータ係数が得られます。L1とL2の違いについては、次のグラフは、L2が非常に洗練された分析ソリューションを備えており、計算が非常に簡単であるため、人々がL1を気にする理由を示しています。正則化された回帰は、制約付き回帰問題として表すこともできます（ラグランジアンと同等であるため）。これが意味することは、L1正則化によってスパース推定が得られるということです。つまり、高次元空間では、ほとんどがゼロで、少数の非ゼロ係数が得られます。これは、モデリングの問題に変数選択を組み込んでいるため、非常に大きなものです。さらに、モデルで大きなサンプルをスコアリングする必要がある場合、係数が0の特徴（予測子）を計算する必要がないため、計算量を大幅に節約できます。個人的には、L1正則化が最も重要なものの1つだと思います。機械学習と凸最適化の美しいもの。

説明
このハッシュ化された特徴のアプローチには、必要なメモリが少なく、トレーニングデータのパスが1つ少ないという明確な利点がありますが、ベクトルをリバースエンジニアリングして、どの元の特徴がベクトルの場所にマッピングされているかを判断するのがはるかに難しくなります。これは、複数の機能が同じ場所にハッシュされる可能性があるためです。ベクトルが大きい場合、またはフィーチャごとに複数の場所がある場合、これは精度の問題ではありませんが、分類器が何をしているのかを理解するのが難しくなる可能性があります。
モデルには常に機能ごとの係数があり、モデルの構築中にメモリに保存されます。ハッシュトリックは、多数の機能を少数に折りたたむため、係数の数が減り、メモリ要件が減ります。ノイズの多い機能は削除されません。それらは他の機能と組み合わされているため、依然として影響があります。
このアプローチの有効性は、機能の性質と問題のドメインに大きく依存します。ドメインの知識は、それが適用可能であるか、または不十分な結果をもたらす可能性があるかどうかを理解するために重要です。ハッシュ機能はより小さなモデルを生成する可能性がありますが、実際の機能の奇妙な組み合わせから構築されたモデルになるため、解釈が難しくなります。
機能ハッシュの追加の利点は、単語のような変数に典型的な未知の無制限の語彙が問題にならないことです。