GoogleのAIモデルが低解像度画像を高解像度画像に変える

研究者が限界に挑戦して高度な人工知能 (AI) テクノロジーを開発する中で、私たちはイメージング技術を改善するためのいくつかの AI ツールやシステムを見てきました。私たちは、画像から背景を即座に削除し、写真のぼやけを除去する AI ツールを見てきました。現在、Google は、低解像度画像を高品質の写真に変換できる、拡散モデルに基づいた 2 つの AI ベースのツールを開発しました。

Super-Resolution via Refinements (SR3) および Cascaded Diffusion Models (CDM) と呼ばれる 2 つの新しいテクノロジーは、Google Research の Brain チームによって最近開発されました。マウンテンビューの巨人は最近、自社の AI フォーラムに両方のテクノロジーについて 詳細なブログ投稿を 公開しました。これは、今年初めにノースカロライナ州デューク大学の研究者が開発したのを我々が見た、以前の AI アルゴリズムに似ています。

SR3 モデルからは、本質的には、 純粋なノイズから低解像度画像を高解像度画像に変換 できる超解像度拡散モデルになります。低解像度の画像を入力として受け取り、トレーニングに使用した画像破損プロセスを使用して、純粋なノイズのみが残るまで画像に徐々にノイズを追加します。次に、プロセスを逆に実行してノイズの除去を開始し、低解像度の入力画像を参照としてターゲット画像に到達します。

同社は、SR3 モデルの大規模トレーニングにより、顔画像と自然画像の超解像度タスクで強力なベンチマーク結果を達成できたと述べています。このモデルは 、64 x 64 の入力画像を 1024 x 1024 の画像に変換 できます。プロセスをデモンストレーションするために、Google は SR3 モデルの動作を紹介する短いビデオを共有しました。以下で確認できます。

ここで 2 番目の AI モデルについて説明します。カスケード拡散モデル (CDM) は、ImageNet データでトレーニングされたクラス条件付き拡散モデルです。これにより、モデルは複数の空間解像度にわたって複数の生成モデルを連鎖させることにより、高解像度の自然画像を大量に生成できるようになります。

このプロセスでは、 CDM モデルは 1 つの拡散モデルを使用して低解像度でデータを生成し 、続いて一連の SR3 超解像度拡散モデルを使用します。これにより、低解像度画像の解像度が最高の解像度まで徐々に向上します。画像生成プロセスをよりよく理解するには、以下に添付されている GIF をチェックしてください。

上記の 2 つのモデルの他に、Google AI の研究者は、条件付け拡張と呼ばれる 新しいデータ拡張技術も開発しました 。ガウス ノイズとガウス ブラーを使用することで、CDM のサンプル品質の結果がさらに向上します。さらに、各超解像度モデルがその低解像度コンディショニング入力に過剰適合するのを防ぎます。これにより、CDM の高解像度サンプルの品質が向上します。

そこで Google は、上記の AI ベースの画像改善モデルにより、超解像度とクラス条件付き ImageNet 生成ベンチマークに関して、普及モデルの限界を最先端の水準に押し上げたと述べています。研究者らは、今後、より生成的なモデリング問題を解決するために、これらのモデルの限界をさらにテストする予定です。