VISIONARYMAGAZINE BY LEXUS

TECHNOLOGY

レンブラントの新作も──
AIが描き出す、現実を超越した映像の世界

2018.07.13 FRI
レンブラントの新作も──AIが描き出す、現実を超越した映像の世界

昨今、画像認識技術の進化や広い意味でのAI(人工知能)が、映像表現に革新をもたらしつつある。古い白黒写真のカラー化をはじめ、スタジアムでの試合の3D映像化や、人物写真をレンブラントの作風で表現する技術など、最新の映像表現テクノロジーを紹介する。

(読了時間:約5分)

Text by Nobuyuki Hayashi
©The Next Rembrandt

SHARE

この記事をシェアする

はるか昔のモノクロ写真を人間の想像力を上回るかたちでリアルにカラー化

人間なら白黒写真を見て空の青や芝生の緑を想像することができる。だが、ちょっと前までのコンピューターには写真や映像は、この通り表示しろという0と1の数字羅列の塊で何の意味も持たなかった。

昨今の進化した画像認識技術や広い意味でのAI(人工知能)が、この状況を急速に変えつつある。今ではコンピューターが白黒写真や白黒映画にリアルに色付けしたり、つぶれてしまっていた画像をデジタルの想像力で描き出したり、カメラが撮っていないアングルを補間したり、さらには有名画家の筆を真似て「あの画家ならこの人をこう描いた」という絵まで描き出している。

AI技術を用いた白黒映像の自動着色は、今では非常にポピュラーな技術だ。「Colorize」などの英語キーワードで検索すると、スマートフォンアプリもいくつか見つけることができるし、早稲田大学理工学部のサイトで運営されている誰でも試せる色付けWebサービスなどもある。

戦争や災害の記憶を風化させず現代人に伝えようと、「記憶の解凍:情報デザインとデジタルアーカイブ」をテーマに研究を続ける東京大学大学院教授の渡邉英徳氏は、上の技術を使って第二次世界大戦中や戦前の写真をカラー化して自身のツイッターアカウント( @hwtnv )を通して発信する活動を始めている。

人間の想像力を上回るかたちでリアルに色付けされた写真は、はるか昔の記録に生々しさを加え、当時の人々も我々と同じように暮らしていたのだとリアリティを持って感じさせてくれる。

最近ではAIを用いてそもそも記録されていない像を描き出す試みも増えている。例えば写っている被写体が小さすぎて、ちゃんと見たいディテール部分を拡大すると荒いピクセル(色の点)になってつぶれてしまっている、というのは誰でも経験したことがあるはずだ。

人間であれば、その荒いピクセルを見てもなんとなく「ここが目だな」とか、「これが口だな」と想像することができるが、これを想像するだけでなく、実際に予想に従ってディテール部分を描き出してしまう技術が次々と開発されている。

注目を集めているのはGoogle社のRAISRという技術だが、Web上で簡単に試せる「Let's Enhance」という技術もある。

選手の視点でスポーツ観戦が可能に

同様に動画のフレームとフレームのあいだの絵をAIに補間させ、超スローモーション映像をつくりだす研究もある。映像プロセッサー開発で有名なNVIDIA社の「SuperSloMo」という技術がそれだ。

ご存じの通り、動画映像は秒間30枚ほどの映像を高速に切り替えることで動いているように見せている。4分の1のスローモーション表示をするには、通常の4倍、つまり120枚ほどの間隔で映像を撮っている必要があるが、この技術は30枚しか撮っていない映像で、1つの絵と次の絵とのあいだはこうなっているだろうという絵3枚分をAIが想像してリアルに描き出す。この絵が非常にリアルなので、あたかも最初から毎秒120枚で撮影したスローモーション映像のように見えてしまう、という技術だ。残念ながらすぐに試せるかたちでは公開されていない技術だが、こちらの動画でその威力を確認することができる。

撮れていない映像を補完する技術としてさらにすごいのが、2018年の「International CES」でIntel社が披露した「Intel True View」だ。スポーツスタジアムに合計30台以上の高解像度カメラをしかけておき、全カメラから入ってきた映像をリアルタイムで映像分析。どの部分が地面で、どの部分が選手、どの部分がボールといった情報を認識して3D映像に変換してしまおう、という試みだ。

スタジアムでの試合の様子を一度、3Dデータ化してしまうということは、すなわち個々の選手からはゴールの位置や対戦相手の選手がどう見えているかといった選手目線の映像を、瞬時に(しかも、カメラで撮った映像と見分けがつかないくらいリアルに)描き出せてしまうということでもある。選手から見える視点、ボールからの視点、審判からの視点など、これまでは不可能だった視点で試合を観戦できるようになることで、スポーツ観戦が大きく変わるだろうと期待されている。

インテル社はこの技術を使って、新しい映像表現の映画を製作するためのスタジオをロサンゼルスに開設している。このスタジオ内で撮影した映画は、好きなアングルから見ることが可能で、これまでにないカメラアクションの映画作品づくりだけでなく、観る人が映画の中のシーンを自由に動き回って好きな視点から楽しめるVR映画の製作もできるものとして期待されている。

実際にこの世に存在していないものも映像化

ここまではカメラで撮影した写真や映像を補完するAI技術を紹介してきたが、AI技術はさらに先、実際にこの世に存在していないにも関わらず、「確かに言われてみればそのようだ」と思える映像を生み出すことも可能にし始めている。

2016年夏、マイクロソフト社から突如、画家、レンブラントの新作と言われる絵画が発表されて世界を驚かせた。絵のタッチは確かにレンブラント、そのもの。絵には油絵の具で描いたような起伏もある。実はこれは346点存在するレンブラントの絵画をすべてAIに学習させた上で、現代人の写真をそのタッチで描かせ、3Dプリンターで起伏をつけた作品だった。
 
今では同様に画家などの絵のタッチを真似たり、カメラで写した人物を銅像風に加工する技術はNVIDIA社アドビ社も開発している(どちらの動画もかなり面白いので必見だ)。

「百聞は一見にしかず」ということわざを英語で「Seeing is Believing(見ることは信じること)」と言うが、我々はもはや「見ることが信じられない」時代に突入しようとしている。
記事一覧へ

BACKNUMBER Tech Inspiration

    RANKINGランキング
    Daily
    Weekly
    PICKUP今週の編集部おすすめ記事
      Mail Newsメールニュース
      レクサスの最新情報をお届しています。ここでしか見られないVISIONARY特集号も配信中。
      購読はこちら
      RANKINGランキング
      Daily
      Weekly
      PICKUP今週の編集部おすすめ記事
        Mail Newsメールニュース
        レクサスの最新情報をお届しています。ここでしか見られないVISIONARY特集号も配信中。
        購読はこちら