アンサンブル学習をできるだけ簡単な言葉で説明する

アンサンブル学習は、複数のモデルからの決定を組み合わせることで、より適切な意思決定を行い、現実の多くの課題を解決するのに役立ちます。

機械学習 (ML) は、金融、医療、アプリ開発、セキュリティなど、複数のセクターや業界でその翼を拡大し続けています。

ML モデルを適切にトレーニングすると、ビジネスや職務で大きな成功を収めることができ、それを達成するためのさまざまな方法があります。

この記事では、アンサンブル学習、その重要性、ユースケース、テクニックについて説明します。

乞うご期待！

アンサンブル学習とは何ですか?

機械学習や統計学において「アンサンブル」とは、共通のベース学習器を使用しながらさまざまな仮説を生成する手法を指します。

アンサンブル学習は、計算問題を解決したり、より適切な予測を行うことを目的として、複数のモデル (エキスパートや分類子など) が戦略的に作成され、組み合わせられる機械学習アプローチです。

このアプローチは、特定のモデルの予測、関数近似、分類などのパフォーマンスを向上させることを目的としています。また、多くのモデルの中から低品質または価値の低いモデルを選択する可能性を排除するためにも使用されます。予測パフォーマンスの向上を達成するために、いくつかの学習アルゴリズムが使用されます。

ML でのアンサンブル学習

機械学習モデルには、バイアス、分散、ノイズなど、エラーを引き起こす可能性のある原因がいくつかあります。アンサンブル学習は、これらのエラーの原因を軽減し、ML アルゴリズムの安定性と精度を確保するのに役立ちます。

アンサンブル学習がさまざまなシナリオで使用される理由は次のとおりです。

適切な分類子の選択

アンサンブル学習は、モデルの選択が不適切なために生じる可能性のあるリスクを軽減しながら、より適切なモデルまたは分類器を選択するのに役立ちます。

サポート ベクター マシン (SVM)、多層パーセプトロン (MLP)、単純ベイズ分類器、デシジョン ツリーなど、さまざまな問題に使用されるさまざまな種類の分類器があります。さらに、選択する必要がある分類アルゴリズムのさまざまな実現方法もあります。 。トレーニング データが異なればパフォーマンスも異なる場合があります。

ただし、1 つのモデルだけを選択するのではなく、これらすべてのモデルのアンサンブルを使用し、個々の出力を組み合わせれば、より品質の悪いモデルの選択を避けることができる場合があります。

データ量

多くの ML メソッドやモデルは、不適切なデータや大量のデータをフィードすると、結果がそれほど効果的ではありません。

一方、アンサンブル学習は、データ量が少なすぎても多すぎても、両方のシナリオで機能します。

• データが不十分な場合は、ブートストラップを使用して、さまざまなブートストラップ データ サンプルを利用してさまざまな分類器をトレーニングできます。
• データ量が多く、単一の分類器のトレーニングが困難な場合は、戦略的にデータをより小さなサブセットに分割できます。

複雑

単一の分類器では、非常に複雑な問題を解決できない場合があります。さまざまなクラスのデータを分割する決定境界は、非常に複雑になる可能性があります。したがって、線形分類器を非線形の複雑な境界に適用しても、それを学習することはできません。

ただし、適切な線形分類器のアンサンブルを適切に組み合わせると、特定の非線形境界を学習させることができます。分類器はデータを学習しやすい多数の小さなパーティションに分割し、各分類器は 1 つの単純なパーティションだけを学習します。次に、さまざまな分類子を組み合わせて、およその分類子を生成します。決断の境界線。

信頼度の推定

アンサンブル学習では、システムが行った決定に対して信頼投票が割り当てられます。特定の問題に関してトレーニングされたさまざまな分類器のアンサンブルがあるとします。分類子の大多数が下された決定に同意した場合、その結果は信頼性の高い決定を含むアンサンブルと考えることができます。

一方、分類子の半分が下された決定に同意しない場合、それは信頼性の低い決定を含むアンサンブルであると言われます。

ただし、信頼度が低いか高いかが常に正しい決定であるとは限りません。しかし、アンサンブルが適切に訓練されていれば、信頼性の高い決定が正しい可能性が高くなります。

データ融合による精度

複数のソースから収集されたデータを戦略的に組み合わせると、分類決定の精度が向上します。この精度は、単一のデータ ソースを使用して作成された精度よりも高くなります。

アンサンブル学習はどのように機能しますか?

アンサンブル学習では、さまざまな分類器が学習した複数のマッピング関数を取得し、それらを組み合わせて 1 つのマッピング関数を作成します。

アンサンブル学習がどのように機能するかの例を次に示します。

例: エンドユーザー向けに食品ベースのアプリケーションを作成しています。高品質のユーザー エクスペリエンスを提供するには、直面している問題、顕著な抜け穴、エラー、バグなどに関するフィードバックを収集する必要があります。

このために、家族、友人、同僚、その他頻繁にコミュニケーションをとる人々に、食べ物の選択やオンラインでの食べ物の注文の経験について意見を聞くことができます。アプリケーションをベータ版でリリースして、バイアスやノイズのないリアルタイムのフィードバックを収集することもできます。

つまり、ここで実際に行っていることは、ユーザー エクスペリエンスを向上させるために、さまざまな人からの複数のアイデアや意見を検討することです。

アンサンブル学習とそのモデルも同様に機能します。一連のモデルを使用し、それらを組み合わせて最終出力を生成し、予測の精度とパフォーマンスを向上させます。

基本的なアンサンブル学習テクニック

#1. モード

「モード」とは、データセットに現れる値です。アンサンブル学習では、ML 専門家は複数のモデルを使用して、すべてのデータ ポイントに関する予測を作成します。これらの予測は個々の投票とみなされ、ほとんどのモデルが行った予測が最終予測とみなされます。主に分類問題で使用されます。

例: 4 人がアプリケーションを 4 と評価し、そのうちの 1 人が 3 と評価した場合、過半数が 4 に投票したため、モードは 4 になります。

#2. 平均/平均

この手法を使用して、専門家はすべてのモデル予測を考慮し、平均を計算して最終的な予測を導き出します。これは主に、回帰問題の予測、分類問題の確率の計算などに使用されます。

例: 上の例では、4 人がアプリを 4 と評価し、1 人が 3 と評価した場合、平均は (4+4+4+4+3)/5=3.8 となります。

#3. 加重平均

このアンサンブル学習方法では、専門家が予測を行うためにさまざまなモデルにさまざまな重みを割り当てます。ここで、割り当てられた重みは各モデルの関連性を表します。

例: 5 人がアプリケーションに対してフィードバックを提供したとします。このうち 3 人はアプリケーション開発者ですが、2 人はアプリ開発の経験がありません。したがって、この 3 人のフィードバックは残りの 2 人よりも重視されます。

高度なアンサンブル学習テクニック

#1. 袋詰め

バギング (Bootstrap AGGregatING) は、優れたパフォーマンスを備えた、非常に直観的でシンプルなアンサンブル学習手法です。名前が示すように、「ブートストラップ」と「アグリゲーション」という 2 つの用語を組み合わせて作られています。

ブートストラップは、元のデータセットから取得したいくつかの観測値のサブセットを置換して作成する必要があるもう 1 つのサンプリング方法です。ここで、サブセットのサイズは元のデータセットのサイズと同じになります。

したがって、バギングでは、完全なセットの分布を理解するためにサブセットまたはバッグが使用されます。ただし、サブセットはバギングの元のデータ セットよりも小さくなる可能性があります。この方法には、単一の ML アルゴリズムが含まれます。さまざまなモデルの結果を組み合わせる目的は、一般化された結果を取得することです。

袋詰めの仕組みは次のとおりです。

• 元のセットからいくつかのサブセットが生成され、置換された観測値が選択されます。サブセットは、モデルまたはデシジョン ツリーのトレーニングに使用されます。
• 弱いモデルまたは基本モデルがサブセットごとに作成されます。モデルは互いに独立しており、並行して実行されます。
• 最終的な予測は、平均化や投票などの統計を使用して、すべてのモデルからの各予測を組み合わせることによって行われます。

このアンサンブル手法で使用される一般的なアルゴリズムは次のとおりです。

• ランダムフォレスト
• 袋詰めされた決定木

この方法の利点は、決定木における分散誤差を最小限に抑えるのに役立つことです。

#2. スタッキング

スタッキングまたはスタック汎化では、デシジョン ツリーなどのさまざまなモデルからの予測を使用して、このテスト セットで予測を行う新しいモデルを作成します。

スタッキングには、バギングと同様に、モデルをトレーニングするためのブートストラップされたデータのサブセットの作成が含まれます。ただし、ここでは、モデルの出力が、サンプルの最終予測のためのメタ分類器として知られる別の分類器に供給される入力として取得されます。

2 つの分類器レイヤーが使用される理由は、トレーニング データ セットが適切に学習されたかどうかを判断するためです。 2 層のアプローチが一般的ですが、さらに多くの層を使用することもできます。

たとえば、最初のレイヤーまたはレベル 1 では 3 ～ 5 のモデルを使用し、レイヤー 2 またはレベル 2 では 1 つのモデルを使用できます。後者は、レベル 1 で取得した予測を組み合わせて最終的な予測を行います。

さらに、予測を集約するために任意の ML 学習モデルを使用できます。線形回帰、ロジスティック回帰などの線形モデルが一般的です。

スタッキングで使用される一般的な ML アルゴリズムは次のとおりです。

• ブレンド
• スーパーアンサンブル
• スタックモデル

注: ブレンドでは、予測を行うためにトレーニング データセットからの検証セットまたはホールドアウト セットが使用されます。スタッキングとは異なり、ブレンディングではホールドアウトのみから予測が行われます。

#3. ブースティング

ブースティングは、最後または前の分類に応じて特定の観測値の重みを調整する反復的なアンサンブル学習方法です。これは、後続のすべてのモデルが、以前のモデルで見つかったエラーを修正することを目的としていることを意味します。

観測値が正しく分類されていない場合、ブースティングにより観測値の重みが増加します。

ブースティングでは、専門家が完全なデータセットに基づいてブースティングのための最初のアルゴリズムをトレーニングします。次に、前のブースティング アルゴリズムから抽出された残差を使用して、後続の ML アルゴリズムを構築します。したがって、前のモデルによって予測された不正確な観測値により多くの重みが与えられます。

段階的にどのように機能するかは次のとおりです。

• サブセットは元のデータセットから生成されます。すべてのデータ ポイントは、最初は同じ重みを持ちます。
• 基本モデルの作成はサブセット上で行われます。
• 予測は完全なデータセットに対して行われます。
• 実際の値と予測値を使用して誤差が計算されます。
• 誤って予測された観測にはより多くの重みが与えられます
• 新しいモデルが作成され、このデータセットに対して最終的な予測が行われますが、モデルは以前に発生したエラーを修正しようとします。複数のモデルが同様の方法で作成され、それぞれ以前のエラーが修正されます。
• 最終的な予測は、すべてのモデルの加重平均である最終モデルから行われます。

一般的なブースト アルゴリズムは次のとおりです。

• キャットブースト
• ライトGBM
• エイダブースト

ブースティングの利点は、優れた予測を生成し、バイアスによるエラーを軽減できることです。

その他のアンサンブルテクニック

エキスパートの混合: 複数の分類器をトレーニングするために使用され、その出力は一般的な線形規則とアンサンブルされます。ここで、組み合わせに与えられる重みは、トレーニング可能なモデルによって決定されます。

多数決: 奇数の分類子の選択が含まれ、サンプルごとに予測が計算されます。分類器プールから最大クラスを受け取るクラスが、アンサンブルの予測クラスになります。二項分類などの問題を解決するために使用されます。

最大ルール: 各分類子の確率分布を使用し、予測を行う際の信頼性を採用します。これは、複数クラスの分類問題に使用されます。

アンサンブル学習のユースケース

#1. 顔と感情の検出

アンサンブル学習では、独立成分分析 (ICA) などの技術を利用して顔検出を実行します。

さらに、アンサンブル学習は、音声検出による人の感情の検出にも使用されます。さらに、その機能はユーザーが顔の感情検出を実行するのに役立ちます。

#2. 安全

不正行為の検出: アンサンブル学習は、通常の動作モデリングの能力を強化するのに役立ちます。このため、クレジット カードや銀行システム、通信詐欺、マネーロンダリングなどの不正行為を検出するのに効果的であると考えられています。

DDoS: 分散型サービス拒否 (DDoS) は、ISP に対する致命的な攻撃です。アンサンブル分類器はエラー検出を減らし、攻撃と本物のトラフィックを区別することもできます。

侵入検知: アンサンブル学習は、ネットワークやシステムの監視、異常の発見などにより侵入者コードを検出する侵入検知ツールなどの監視システムで使用できます。

マルウェアの検出: アンサンブル学習は、機械学習技術を使用してコンピューター ウイルスやワーム、ランサムウェア、トロイの木馬、スパイウェアなどのマルウェア コードを検出および分類する場合に非常に効果的です。

#3. 漸進的学習

増分学習では、ML アルゴリズムは、以前の学習を保持しながら、以前に確認したデータにはアクセスせずに、新しいデータセットから学習します。アンサンブル システムは、すべてのデータセットが利用可能になったときに追加の分類器を学習させることにより、増分学習で使用されます。

#4. 薬

アンサンブル分類器は、神経認知障害 (アルツハイマー病など) の検出など、医療診断の分野で役立ちます。 MRI データセットを入力として取得し、子宮頸部細胞学を分類することによって検出を実行します。それ以外にも、プロテオミクス (タンパク質の研究)、神経科学、その他の分野にも応用されています。

#5. リモートセンシング

変更検出: アンサンブル分類器は、ベイズ平均や多数決などの方法を通じて変更検出を実行するために使用されます。

土地被覆のマッピング: ブースティング、デシジョン ツリー、カーネル主成分分析 (KPCA) などのアンサンブル学習手法が、土地被覆を効率的に検出してマッピングするために使用されています。

#6. ファイナンス

計算であろうと予測であろうと、正確さは財務の重要な側面です。それはあなたが行う決定の結果に大きな影響を与えます。これらは、株式市場データの変化を分析したり、株価の操作を検出したりすることもできます。

追加の学習リソース

#1. 機械学習のためのアンサンブル手法

この本は、アンサンブル学習の重要な方法をゼロから学び、実践するのに役立ちます。

#2. アンサンブル メソッド: 基礎とアルゴリズム

この本には、アンサンブル学習とそのアルゴリズムの基礎が記載されています。また、実際の世界でどのように使用されるかについても説明します。

#3. アンサンブル学習

統一アンサンブル手法、課題、応用などについて紹介します。

#4. アンサンブル機械学習: メソッドとアプリケーション:

高度なアンサンブル学習テクニックを幅広くカバーします。

結論

アンサンブル学習、その方法、ユースケース、そしてアンサンブル学習を使用することがなぜ自分のユースケースにとって有益であるのかについて、ある程度理解していただけたでしょうか。セキュリティやアプリ開発の領域から金融、医療などに至るまで、多くの現実の課題を解決できる可能性を秘めています。その用途は拡大しているため、近い将来、このコンセプトはさらに改善される可能性があります。

機械学習モデルをトレーニングするための合成データ生成用のツールをいくつか検討することもできます。