ビッグデータ活用と統合アーキテクチャ選択のツボ
～Syncsort製品　販売20周年記念セミナーを開催～

「ビッグデータ」という言葉が様々なメディアで取り上げられるようになった昨今、巨大なデータをRDBMSなどを利用して活用している企業は世界にすでに数多く存在しています。では実際にビジネスにおいてビッグデータを活用する上で必要なことは何でしょう。「データサイエンティスト」、「統計解析」といったノウハウが必要なことは言うまでもありませんが、それ以前に欠かせないのは、データを分析し、経営において活用するためのバックエンドの仕組みです。

米国Syncsort社は、ビッグデータ、高速ソート、データ統合の分野における先進的な製品を提供し、あらゆるデータ変換／加工処理の高速化や効率化を実現しています。中でも、Syncsort DMExpressはデータベースなどの大量データの抽出、加工・変換、データベースへのロード処理を高速、かつ最小資源で実行できるツールとして全世界で活用されています。Syncsort社の製品を販売して20周年となるアシストは、それを記念して去る5月22日、『ビッグデータ活用と統合アーキテクチャ選択のツボ』と題するセミナーを開催しました。

株式会社アイ・ティ・アール　代表取締役　プリンシパル・アナリストの内山悟志様より「ビッグデータ時代のデータ活用とその基盤」というテーマでご講演いただいた後、米国Syncsort社 CEO　ロンニ・ジャフィ氏ならびに社長　ジョシュ・ロジャース氏がSyncsort社の紹介およびビッグデータ統合ソリューションにおけるDMExpressの位置づけについて講演しました。

ユーザ事例として講演を行ったのは、米国のDMExpressユーザであるcomScore社のCTO　マイケル・ブラウン氏です。

comScoreはNASDAQに上場する、デジタル業界の分析データを提供する最先端のインターネットテクノロジー会社です。効率的なデータ処理・集計を行うために2000年よりDMExpressを利用し始めました。デジタルユーザのオンライン上の行動を測定し、その情報をお客様のデジタルコンテンツの価値を最大化させるための知見と改善案に変化させてさまざまな情報を提供しています。2002年、大量データの分散処理を行うため、その仕組みを独自に構築しましたが、2009年、ビジネスのニーズを満たすために自社インフラのシームレスなスケーリングを可能にするHadoopを採用しました。そして日々受け取るデータが20テラバイトにものぼる同社では、Hadoop連携機能を実装したDMX-hを採用し、高い生産性と高速処理を実現してビッグデータをもとに得られた新たな洞察をビジネスで活用しています。

「DMX-ｈはHadoopフレームワーク上での並列分散処理を実現し、Map/Reduce処理をDMExpressのGUIで簡単に開発できるだけでなく、Java、Pig、Hiveなどに比べても処理性能は2～5倍となり、ビジネスのニーズに迅速に対応することができた」とブラウン氏は語りました。

ビッグデータを活用するもう一つの業界は金融分野です。Syncsoft社のニキール・クマール氏がBank of Americaにおける事例を発表しました。

Bank of Americaのビッグデータはほとんどがメインフレーム上のファイルに存在し、それを多くのコストとコンピュータ資源を使い巨大なDWHシステムで稼働していました。しかし、コストのみならず手間のかかる作業、スケーラビリティの欠如といった問題に直面した同社はDMX-ｈを選択しました。その結果、より柔軟なアーキテクチャを短時間に実装し、圧倒的な処理の高速化を実現しています。

処理能力の高さとコストパフォーマンスにおける潜在能力の高さから米国では急成長を遂げ注目を浴びているHadoop。日本でも本格的に根付く日も遠くないことを予感させる米国最新事例セミナーでした。