米国家安全保障局（NSA）は、米国の情報機関のなかでも特に秘密主義の組織として知られている。しかしNSAは2年前に、同局のサーバーにリアルタイムで入ってくる情報の分析に使っている重要なプログラムの、コードそのものを公開した。

このコードを開発者たちに公開するというNSAの判断は、現在テクノロジーで現在大きなトレンドとなっている「ビッグデータ」を活気づけることになった。各社は、NSAが公開したプログラム「Accumulo」を使うことで、米国のスパイ組織と基本的に同じ洗練度とセキュリティで、大量の情報を調べることができるようになったのだ。

コンピューターを利用し、デジタルの「パンくず」をたどってつながりを見つけ出すのは、今に始まったことではない。アマゾン、フェイスブック、グーグルなどの大手企業は長年にわたり、書籍、友達、検索結果などを提案するために顧客の情報を分析している。

しかし、そうしたコンピューター処理能力をNSAがどのように活用しているかについては、先週、NSAがテロ活動を予測するためにインターネット、電話、および金融データの情報を大量に収集し分析しているとガーディアン紙とワシントン・ポスト紙が報じる（日本語版記事）まで、広く知られてはいなかった。

安価なデータ保存と、NSAが使っているシステムと同様のオープンソースソフトウェアが無料で利用可能になったことで、以前はIBMやグーグルのような巨大企業にしか可能でなかった洗練されたデータ解析を、いまでは普通の企業が行えるようになっている。

「10年前だったら、大量のデータを保存して処理したければ、大枚を叩いて高価なサーバーを購入する必要があった」と、ビッグデータに投資するベンチャーキャピタルIA Ventures社のジェネラルパートナー、ベン・シスコヴィック氏は話す。「いまでは、利用したいと思う誰もが、安価なツールに簡単にアクセスできる」

業界規模が1億ドルに迫ると推定されるビッグデータ技術の推進者たちに言わせると、Accumuloなどの技術の可能性は、まだわずかしか活用されていない。

「（ビッグデータは、）インターネットの誕生以降では最初の、本当に世界を変える可能性のある技術革新だ」と語るのは、ボストン地区のビッグデータ企業10社を支援する投資家クリストファー・リンチ氏だ。

例えばリンチ氏は2年前に、ビッグデータ企業Sqrrl社の設立に協力したが、同社設立にあたっては、Accumuloを開発した技術者6人がNSAから引き抜かれた。Sqrrl社はその技術を、顧客データを扱う際にとりわけセキュリティが必要な、電気通信、ヘルスケア、金融といった分野の企業に売り込んでいる。

Sqrrl社の設立者のひとりであるエリー・カーン氏によると、同社の技術は、例えば大手銀行では、顧客が住む地区の人口統計的特性などの情報を基に、顧客がクレジットカードを完済するかなどを予測するために使われている。また電気通信事業者では、顧客サービスへの電話のデータベースで「故障」などのキーワードを検索し、ネットワーク上の損傷箇所を見つけ出すのに利用されているという。

ただし、ビッグデータの利用に関しては、プライバシー問題の懸念もある。例えばディスカウント百貨店チェーン「Target」は昨年、この問題をめぐって批判された。きっかけは、ある従業員がニューヨークタイムズ紙に対して、同社は購入履歴と人口統計情報を基にして、ある女性が妊娠しているかどうかを判断できると語り、その手順を説明したことだ。

貸し手が借り手の信用を評価するのにあたっても、借り手のソーシャルメディアの人間関係に関するビッグデータ分析が使われ始めている。また、ウォール・ストリートジャーナル紙によると、一部の健康保険会社が巨大なデータベースの購入を始めており、これは、例えばLLサイズの服の購入履歴がある場合に肥満の恐れがある人としてマークするためのものであるかもしれない。

ベンチャーキャピタルFirstMark Capital社のマット・トラック氏は、ビッグデータからそれまで知ることのできなかった情報を知る能力は今後、NSAにおいても企業においても、ますます強力に正確になると述べた。「何が許容できて何が許容できないかを決めるのは社会の側だ」

[Gerry Smith,Ben Hallman(English)　日本語版：緒方亮／ガリレオ]