技術者が語るRICOH360を支えるテクノロジー
vol.1 「限界を超えていく」技術開発に込めた想い
このシリーズでは、RICOH360を支えるテクノロジーについて担当する各領域の技術者へのインタビューを通し、4回にわたりご紹介します。
第1回のテーマは、AIによる画像処理技術について。RICOH360における活用事例から、超解像にまつわる飽くなき研究開発まで、熱のこもった知られざる舞台裏を技術者のお二人に伺いました。
応用とは、実用化へのステップ
RICOH360ではAI技術を活用して、これまでも多彩な機能を生み出してきました。例えば不動産物件のバーチャルツアーでは、１枚の360度画像から複数枚の画像を自動的に切り出したり、それらを繋げて動画を自動生成したり、CG家具を配置してシミュレーションしたりすることが可能です（図1）。
すでに世界中には多くのAI技術が公開されていますが、「そのまま使うだけではサービスを成り立たせることは難しい」と開発担当の小田巻さんは話します。
小田巻 誠
技術開発室室長
-----
1997年リコー入社 2014-2016コロンビア大学客員研究員
仕事では360度画像向けコンピュータビジョン・AI関連技術開発のリードを務める。
趣味はブックオフ巡り。最近は世界史にハマっている。
「色々と機能はあるものの、それらは基本となる技術を応用しています。世の中にAIの技術はあふれていますが、実際に製品やサービスとして使うのはちょっと大変です。一つ目は〈商用利用に向けたライセンスの壁〉、二つ目は〈実用レベルにするための壁〉です。
ライセンスは言うまでもなく、それを破って使うことはできませんので、初手から気をつけなければいけないことですね。
実用レベルについては、こんな例があります。リビングの画像を解析するとき、ドアやクローゼットをAIで検知しますが、一般的な解析だとそれが〈通れる〉閉まった扉なのか、〈通れない〉クローゼットの扉なのか判別が難しい。人間でさえ画像では判らないこともありますよね。なので我々が新たに定義づけをし、実用に向けて改善するサイクルが必要になります」
2020年7月に最初のバージョンを発表した『AI画像補正』も、こうした試行錯誤の積み重ねでした。解像度の低い画像を復元する〈超解像〉を実用化したこの技術は、リコーならではの着想を秘めています。注目したのは360度カメラ『RICOH THETA』と、リコーの高性能コンパクトデジタルカメラ『GR』です。
高解像でノイズの少ないGRと、比較するとやや低解像でノイズの多いTHETAをペアにして、AIに学習させる。聞こえは良さそうですが、実は幾つもの課題がありました。
「レンズも異なれば、ホワイトバランスや色再現などの設計も異なる。〈まったく違う条件の画像同士〉を比較して学習させるために工夫を凝らしました。
結果として、解像度の向上だけでなく、ノイズ除去や色収差の補正も同時に実現できる高機能なアルゴリズムが完成しました。この成果の一部はコンピュータビジョンのトップカンファレンス『CVPR2020』のOmniCV2 workshopでも発表しています」
1: The Conference on Computer Vision and Pattern Recognition. コンピュータビジョンとパターン認識の分野で最も影響力があるとされる権威ある会議で、世界のAI、機械学習、コンピュータビジョンのコミュニティから数千人が集まります。
2: Omnidirectional Computer Vision in Research and Industry
目指すのは、機械学習のその先
2020年のリリース後も、更なるクオリティアップに向けて研究開発が進みます。今度は解像度やノイズ・色収差にとどまらない、より総合的な画質向上を目指しました。
ところがこの画質も、実は非常にやっかいな性質があります。果たして「何をもって画質が良いと認められるのか？」ーー 数値としての評価軸もありますが、やはり個人の感覚に委ねられる部分もあります。実際に画質向上のチューニングをした水藤さんに、お話を伺いました。
水藤 浩
------
2003年リコー入社。学生時代は人工知能の研究に従事。
デジタルカメラのファームウエア開発を経て、最近では360度画像の画像処理や、AIステージングの実装などを担当。
趣味は、野球観戦、ジョギングなど。
「〈数学的評価〉と〈知覚的評価〉は、両立が難しいとされています。数値としては良いけれど見た目は悪い、その逆もまた然りです。とはいえ感覚的な許容レベルを言語化したり数式化したりするのも困難なので、チューニングでは実際に利用されているお客さんの声が重要になってきます」
それでもお客さんの声を集めるのが難しかったり、統計に偏りが出たりする可能性もあります。しかし水藤さんは以前にコンシューマ系のデジタルカメラを担当し、すでに画質に関する様々な要望に対応していたそうです。
「『アップデートされたけど前回のバージョンの方が色合いが好きだった』とか、『この環境下だと色が変に見える』とか、こだわりのある意見は多いですね。技術的には狙いをもって新機種でアップデートしたはずが、うまく納得されないケースもあります。
要望に一つ一つ応えるのは非常に大変でしたが、やりとりを重ねることで〈これは許されるな〉とか〈これは許されないかな〉とか、自分のなかで感覚的な経験則が身につきました。お客さんの声のすぐ近くにいた経験は、今の画質評価にも役立っています」
こうして2022年9月にアップデートされたAI画像補正は、ネットワーク構造の見直しや、シーン認識などの複数のAI画像処理を組み合わせることにより、超解像にとどまらない総合的な画質の向上を実現しました（図２）。
最新のAI技術を活用しながら、人の手で繊細な感覚を補っていく。この両輪を回しながら品質の良い学習データを見定め、〈より少ないデータ量で、今までよりも良い結果が出て、速度が倍くらいに速い〉補正モデルが完成しました。
また画質評価については、企業ごとに培われた評価軸や専門性もあるようです。他のメーカーをはじめ、リコーでも『Image Quality』の専門チームが組まれています。長年かけて蓄積したノウハウはDNAとして受け継がれ、次代にもバトンを渡すことでしょう。
「社内で画質評価テストをしたときに、私と水藤さんは答えがほぼ一致しました。画像の好みや品質に関して、すでに組織として継承されているのかもしれませんね」（小田巻さん）
2年越しの更なるクオリティアップ。大きな飛躍を遂げた2022年でしたが、すでに今後のアップデートも話し合っているそうです。
「チームとして今までの技術を継承しながら、他のチームとの連携も強くしていきたい」と、お二人は語りました。RICOH360 SaaS plus a Boxの展開に向けて、ハードウェアとソフトウェアとクラウド、三者を横断したエンジニア交流や育成を図っていきます。
REFERENCES
AI画像補正についてはこちら
https://www.ricoh360.com/tours/features/image-enhancement/
