
AI 画像認識技術である Google レンズを実際に使った経験から、機械学習が確実に大きな進歩を遂げていることが分かりました。しかし、このテクノロジーは現在完璧とは程遠く、私たちが期待していたほどスマートではありません。その主な理由は、モデルを識別するためにコンピューターを訓練するペースが遅いためです。さらに、一部の AI はニューラル ネットワークの高度な計算を必要とし、機械に教えるのは決して簡単な作業ではありません。
これを念頭に置いて、Google 研究者のグループは、AI 画像認識システムをテストして、だまされないかどうかを確認することに取り組みました。
AI システムがサンプル画像内のオブジェクト (ここではバナナ) を認識できなかったため、彼らは勝利を収めたようですが、これはすべて特別に印刷されたサイケデリックなステッカーのおかげです。
画像認識システムをだますことができるこれらのサイケデリックなステッカーの作成は、2017 年 12 月の第 31 回神経情報処理システム会議で発表されたばかりの「 敵対パッチ」 というタイトルの研究論文で説明されています。 この論文では、研究者が敵対者 (対戦相手) を訓練したと説明されています。画像認識システムを騙すために、ランダムな形、色、サイズを持つ小さなパッチ状のサイケデリックな円を作成するシステム。
AI 画像認識システムを騙す最も一般的な方法は、画像にグラフィックスを追加して画像を改変することですが、Google の研究者たちは、サイケデリックなデザインでシステムを騙すことにしました。
以下のビデオデモで見られるように、バナナの隣に通常の画像を配置すると、システムはバナナと、ある程度まではトースターを認識できます。しかし、バナナの隣にサイケデリックな渦巻きを配置すると、結果はあまり明確になりません。
またチームは 、パッチを適用したデザインが被写体から離れて見え、照明条件、カメラの角度、分類器のビュー内のオブジェクト、分類器自体などの要因の影響を受けないことも 発見しました。
研究者らは続けて、サイケデリックなデザインの仕組みについて次のように説明しています。
この攻撃は、ニューラル ネットワークにとって非常に顕著な、画像に依存しないパッチを生成します。このパッチは、分類子の視野内のどこにでも配置でき、分類子がターゲットのクラスを出力するようになります。
一見するとAIの画像認識を騙しているように見えますが、実はこの実験はシステム内の矛盾を取り除くために利用されます。この分野で働く人は、被写体の画像に含まれる可能性のあるノイズの多いデータに適応する必要があります。この発見は、機械学習を活用したシステムに、将来同様の欺瞞に対して自らを改善する機会を与える可能性があります。


