「記憶の解凍」:白黒写真のニューラルネットワークによる自動色付け

デジタルアースや人工知能技術を応用して,この試みを進めてきました。

渡邉英徳研究室は,4月より東京大学大学院・情報学環に移籍しました。首都大学東京のメンバーのうち4名も一緒にお引っ越し。ようやく環境の変化に慣れてきたところです。

今回の記事では,ここ1年半のあいだ取り組んできた「ニューラルネットワーク(人工知能技術)による白黒写真の自動色付け」による「記憶の解凍」の活動について説明します。

これは,100年以上前の日本,1908年にArnold Gentheによって撮影された写真です。オリジナルの白黒写真は,アメリカ議会図書館のデジタルアーカイブで公開されています。右側は,早稲田大学の飯塚・シモセラ・石川先生のチームが公開しているAI技術「ディープネットワークを用いた白黒写真の自動色付け」でカラー化したのち,さらに画像処理ソフトによる色補正を加えたものです。

左側の白黒写真では背景と同化し,静止していた人物が,右側のカラー化写真では息づきを得て,前景に浮かび上がってくるような印象を受けないでしょうか。カラー化することによって,一世紀前の「過去」を生きた人々が,「現在」を生きる私たちと同じく,人間であったことが強調されます。最新技術でつくりだした「過去にひらく窓」を通して,向こう側の人々に思わず語りかけたくなるような衝動にかられます。

さらに,こうした色付け写真をツイートすると,リツイート,リプライ,いいねを含む多くの反響があります。例えばこの写真は,現在までに2400回以上リツイートされ,4500以上のイイネが付いています。

109年前の日本,男の子をおんぶする少女。Arnold Gentheが1908年に撮影したもの。掲載するのは二度目,お気に入りの一枚です。ニューラルネットワークによる自動色付け。 pic.twitter.com/xSwOrdpeS0

— 渡邉英徳 (@hwtnv) September 13, 2017

また,たくさんの方々から,さまざまなリプライが付いています。こうしたコミュニケーションはおそらく,アメリカ議会図書館のデジタルアーカイブの奥底で「凍っていた」白黒写真のデータからは,得られなかったものではないでしょうか。

御髪の様子や眉をあたってるので、もしかしたら姐やではなくお母さんじゃないか悩み中ʕ•ᴥ•ʔ

この写真を見て、一回り上の従姉妹と祖母の話で盛り上がりました^^;

祖母は十五で最初の子を産んでいます。

— hiroko (@slowslowfood) October 3, 2017

「凍って」いた資料の印象を人工知能技術で「溶かし」,ソーシャルメディアのタイムラインに「流す」ことによって,人々の対話が生まれています。このプロセスは,ケヴィン・ケリーが「〈インターネット〉の次に来るもの 未来を決める12の法則」で述べた「FLOWING」のコンセプトとも符号しています。

われわれの関心は,形のある品々から手に触れられないコピーのようなモノの流れに移っている。モノを構成する物質だけでなく,その非物質的な配置やデザイン,さらにはこちらの欲求に応じて適応し流れていくことに,われわれは価値を見い出すのだ。

われわれは常にツイッターの流れやフェイスブックのウォールに流れる投稿を注視している。写真や映画や音楽をストリーミングで楽しんでいる。(中略)流れの中のある瞬間に対してタグ付けしたり,「いいね!」や「お気に入り」を付けたりしている。

ここまでに述べたような「社会に"ストック"されていた資料を情報デザインによって"フロー"化し,そこから創発したコミュニケーションによって,過去を未来に継承する営み」のことを,私たちは「記憶の解凍(Reboot Memories)」と呼んでいます。

私たちの研究室では,デジタルアースや人工知能技術を応用して,この試みを進めてきました。

2011年に発表した「ヒロシマ・アーカイブ」などの"多元的デジタルアーカイブズ"についても,この「記憶の解凍」のコンセプトに基づいて説明することができます。デジタル「アーカイブ」から,身の回りの「フロー」へ。技術とコンテンツが社会に果たす役割は,時代にあわせて,少しづつ進化していきます。

こうした「記憶の解凍」の成り立ちについては「立命館平和研究(立命館大学国際平和ミュージアム紀要)第19号」の巻頭論文で詳しく解説しています。以下はCC-BYで公開している草稿へのリンクです。ぜひご活用ください。

以下のツイートは,2016年10月30日に,私がはじめて早稲田大学のチームのカラー化技術を試した際に,驚きを込めてつぶやいたものです。

「原爆ドームと調査団」の写真え自動カラー化。「ヒロシマ・アーカイブ」より。こちらも早稲田大のサービスを利用。ほんとうにすごいと思う。 https://t.co/5aVTQMlCPGpic.twitter.com/qy7uVtuVZ6

— 渡邉英徳 (@hwtnv) October 30, 2016

その後,このサービスにどっぷりハマり,「ニューラルネットワークによる自動色付け」という注釈付きで,日々カラー化写真のツイートを続けてきました。その間,戦前〜戦後の呉にまつわる写真の色付けを通して,「この世界の片隅に」の片渕須直監督との交流も生まれるなど,活動は多方面に広がっています。

72年前の今日。1945年7月28日の呉軍港空襲で破壊され,大破着底した巡洋艦「青葉」。1946年11月28日に撮影されたもの。「この世界の片隅に」にも,同じアングルで登場。ニューラルネットワークによる自動色付け。 pic.twitter.com/T7tReXEiho

— 渡邉英徳 (@hwtnv) July 27, 2017

呉の写真のカラー化,その後の片渕監督とのやり取りについては,以下のTogetterまとめをご覧ください。

この活動を続けるなかで生まれたのが「記憶の解凍」のコンセプトです。特に,断絶された過去と現在をつなぐことを意図した「○○年前の今日」にまつわる色付け写真のツイートは,毎朝の日課となっています。「いま」が流れてくるTwitterのタイムラインに「むかし」を流し込む試みです。

73年前の今日。1945年4月7日14時20分過ぎ、沖縄に向けて航海中の戦艦「大和」は多数の爆弾と魚雷による攻撃を受け、坊ノ岬沖で沈没した。白黒写真のニューラルネットワークによる自動色付け。 pic.twitter.com/qhkZcc7EgF

— 渡邉英徳 (@hwtnv) April 6, 2018

さて,こうした「白黒写真のニューラルネットワークによる自動色付け」のうち,特にご好評をいただいているのが「戦前の沖縄」シリーズです。

1935年に朝日新聞のカメラマンが撮影した写真をもとに,人工知能技術と取材による考証を組み合わせ,カラー化を続けています。これは,私の研究室に所属する記者兼大学院生の與那覇里子さんが主軸となり,朝日新聞・沖縄タイムスとの共同プロジェクトとして進めているものです。

戦前の沖縄。1935年に撮影された那覇の市場。沖縄出身の記者兼院生・與那覇里子さんが現地調査を経て、さまざまなことを見出しています。記事は近日公開。ニューラルネットワークによる自動色付け。 pic.twitter.com/iWIb7BlXkJ

— 渡邉英徳 (@hwtnv) December 14, 2017

開催中の「よみがえる沖縄1935」展にて,5月から追加展示される写真の一枚目。傘をさした着物姿の糸満の女性。白黒写真のニューラルネットワークによる自動色付け。展示に際し,再レタッチしました。 pic.twitter.com/c6HZjqjhpY

— 渡邉英徳 (@hwtnv) April 7, 2018

戦前の沖縄。1935年に撮影された写真。降り出した雨にうたれるセーラー服姿の女子学生。ニューラルネットワークによる自動色付け。 pic.twitter.com/j99QnIBiiT

— 渡邉英徳 (@hwtnv) December 17, 2017

これらの写真に写し出されているように,「戦前」の沖縄には,いまと変わらぬ平和な日常がありました。このことは,私たちがふだんは意識していないことかも知れません。沖縄戦の「鉄の暴風」が時の流れを切断し,「戦前の沖縄」の記憶を「凍らせた」のではないでしょうか。ヒトとAIのコラボレーションによりカラー化された写真は,その記憶を「溶かし」,私たちの時代につなげてくれるように思います。

73年前の今日。1945年4月17日,読谷飛行場の対空砲火。4月14日から18日,大日本帝国の連合艦隊は特攻作戦「菊水3号」作戦を発動,アメリカ軍は雨のような砲火で応戦した。白黒写真のニューラルネットワークによる自動色付け。 pic.twitter.com/cFBp2uQJx4

— 渡邉英徳 (@hwtnv) April 14, 2018

これらの写真と與那覇さんによる取材報告は,朝日新聞・沖縄タイムスの朝刊やウェブ版で特集され,大きな反響がありました。與那覇さんによるwithnews記事をぜひお読みください。

一部のカラー化写真について,現在,横浜の日本新聞博物館で開催中の「よみがえる沖縄 1935」展で展示中です。現在,3点のカラー化写真が大判印刷されて展示されています。5月の連休から展示がリニューアルされ,さらに多くのカラー化写真が展示される予定です。

また,5月26日と6月23日(沖縄慰霊の日)には,白黒写真のカラー化の体験ワークショップを開催する予定です。ぜひ,ご参加ください。