TOP>製品/サービス>カテゴリから探す>データ連携(ETL/EAI)>Syncsort DMX-h>コラム>【特別対談】ビッグデータ活用の「これから」を解明する(前編)

Syncsort DMX-h

【特別対談】ビッグデータ活用の「これから」を解明する(前編)

【特別対談】ビッグデータ活用の「これから」を解明する

 昨今ビッグデータやIoT、AIといったIT技術の登場に伴って、既存のビジネスモデルがかつて無いスピードで変革する時代を迎えています。このデジタライゼーションの波に乗るにはビジネス面でクリアすべき課題だけでなく、必然的に多様化するデータの種類と増加するデータの量に対し、それを支えるシステム基盤を最適化させるという新たなIT課題も浮上します。

 これまでデータを活用するためのシステム基盤の中核を成していたRDBに加え、ビッグデータを支える基盤の構築にはNoSQLやHadoopといった新たな選択肢も登場しています。ビッグデータの本質である多種多様なデータを戦略的に活用するために、これら技術をハイブリッドに構成しユーザビリティとコストを最適化する「データ・レイク」といった概念も登場しています。このような状況の中、企業はデジタライゼーションによりビジネスに変革をもたらすために、自社の要件を満たす新しいデータ活用基盤を一択ではない解から探していかなければなりません。

 では、この状況というのは実際のところどのようなものでしょうか? その中でも現在のトレンドは何なのでしょうか? 新しいデータ活用基盤の検討に際し何を考え、何を意識していくべきでしょうか?

対談者

三原茂氏

マップアール・テクノロジーズ株式会社(以下[MapR社])
アライアンス&プロダクトマーケティング
三原 茂 氏

中野理恵子氏

日本ヒューレット・パッカード株式会社(以下[HPE社])
テクノロジーコンサルティング事業統括
中野 理恵子 氏

宮本玲氏

株式会社アシスト(以下[アシスト])
情報基盤事業部 製品統括部
宮本 玲 氏

ファシリテーター

田中貴之氏

株式会社アシスト
情報基盤事業部 製品統括部
田中 貴之 氏

ビッグデータ活用を支える新しいデータ活用基盤への取り組み

田中貴之
アシスト/田中

それでは、ビッグデータ活用の「いま」と「これから」について、ビッグデータに関わる各社のスペシャリストの皆様の対談によって解明していこうと思いますので、是非よろしくお願いいたします。

では、まず簡単に各社の会社紹介をしていただくと共に、皆様におけるデータ活用基盤への取り組みについてご説明いただけますでしょうか?

マップアール・テクノロジーズの三原ですが、では私から簡単に(笑

マップアールは、Hadoop互換の独自の分散ファイルシステムをベースにデータ活用に必要な機能を統合したコンバージドデータプラットフォーム」を提供する企業です。Hadoopはデータの新しい蓄積基盤であり、その強力な分散処理フレームワークを活かしてバッチ処理の基盤としても活用できます。世の中のデータ活用はバッチからリアルタイムへの技術進化が続いていますが、弊社ではバッチ処理とリアルタイム処理を行う際にそれぞれ複数のプラットフォームを利用するのではなく、単一の基盤でニーズを満たせる製品です。

私は、マップアールの製品を介してパートナー様と共にビジネス開発やマーケティングを担っています。

MapR/三原

MapR/三原

アシスト/田中

三原さん、ありがとうございます。

では日本ヒューレット・パッカードの中野さん、お願いできますか。

はい、日本ヒューレット・パッカードの中野と申します。弊社は「お客様のITプラットフォーム環境を変革する」ために、4つのトランスフォーメーション・エリアを定めています。そのひとつが『データ指向経営の推進』であり、お客様がデータを活用して経営を円滑に行うよう支援しています。私の所属するテクノロジーコンサルティング部門は、データ活用のコンサルティングを提供しています。

私は、国内市場での『データ指向経営の推進』リーダーを担っています。日本においてビッグデータ技術を用いて、お客様のビジネスをどう伸ばしていくかが課題です。

HPE/中野

HPE/中野

アシスト/田中

アシスト/田中

中野さん、ありがとうございます。

では私と同じ会社ではありますが、アシストの宮本さんお願いします。

アシストは、パッケージソフトウェアに特化した代理店ビジネスを事業としておりまして、「アシストならでは」の付加サービスを提供し、メーカーを超えるサービスをお客様へ届ける「超メーカー」を標榜しています。営業が伴う部門という点では大きく運用系と情報系に事業部が分かれておりまして、私が所属する情報基盤事業部では、つまり後者ですね。Oracle Databaseをはじめとするデータベース製品、BRMSなどの高速開発ツール、情報活用基盤における「つなぐ」「ためる」「いかす」というそれぞれに適するETL/EAI、DWH、BIの各カテゴリの製品をラインナップしています。

私はそのETL/EAIカテゴリでも、バッチ処理やデータ統合処理に強いETL製品であるSyncsort DMExpress、HadoopでのETL処理をGUI開発できるSyncsort DMX-hの製品マネージャーを10年ほど担当しています。

アシスト/宮本

アシスト/宮本

アシスト/田中

アシスト/田中

宮本さん、ありがとうございます。

先日もこの3社の協業による「ビッグデータ・クレンジングパッケージ 」についてニュースリリースを配信させていただきましたが、この3社の関係としてはビッグデータプラットフォームをHadoopのディストリビューションで支えるマップアール・テクノロジーズ社、そのHadoop上で稼働するETLツール「Syncsort DMX-h」を提供するアシスト、そのビッグデータプラットフォームをコンサルティング含めたインテグレーションで支える日本ヒューレット・パッカード社といったところになりますね。

では、ビッグデータ活用の「いま」と「これから」について、各設問を私から提供させていただき皆様の実際のご経験とご知見をフィードバックいただければと思います。

会場写真


Hadoopを取り巻く最新状況

アシスト/田中

アシスト/田中

先ほどの3社の関係性の通り、「Hadoop」はこの3社における共通のキーワードの一つです。

これは私見ですが、これまで日本市場におけるHadoopの盛り上がりは正直なところ期待感に欠けるところがありました。しかし、最近は特定業種のアーリーアダプタ以外の企業においてもHadoopを試験的に検討したり、新しいデータ蓄積基盤の構築における選択肢の一つとして挙げられるケースが多くなってきていたりするような感があります。

三原さん、中野さんは日本におけるHadoopのトレンドについて実際のところどのように捉えていますか?

まず、なぜHadoopが必要になってきているのか?を考えるべきだと思います。

データ活用方法という面では、例えばネットビジネスス系の企業といわゆるエンタープライズの企業では、その取り組みが全く違います。ネットビジネスの方々は、その競争の激しさ故か、よりお客様の動向分析に取り組んでいるケースが多く見受けられ、そのためのデータを活用しようとします。顧客動向分析をするには「売上実績」はもちろんのこと、購買履歴や足跡となる「明細データ」、「Webアクセスログ」、「ポイント履歴」、それに加えて政府などが提供するオープンデータなど、構造化・準構造化・非構造化など構造も多様で膨大なデータが必要となります。

それらデータを限られたコストの中で取り扱うには、その蓄積と処理のための「新しい」基盤が必要です。そういった活用を背景としてHadoopが登場している訳です。

MapR/三原

MapR/三原

アシスト/田中

アシスト/田中

昨今になって、エンタープライズの方々もビジネスに新しい洞察をもたらすための深いデータ分析をし始めたということでしょうか。

そう言えると思います。そういうフェーズに、世の中と言うかビジネスが入ってきたのだと思います。そういったデータの活用を背景にエンタープライズが取り扱うデータが変わってきているというのが、大きな要因なのではないかと感じています。

MapR/三原

MapR/三原

HPE/中野

HPE/中野

加えて技術的な観点で言えば、Hadoopを当初からビジネスに採用したアーリーアダプタの方々がHadoopを深く使いこなすようになる過程で商用利用する際の運用上の課題を多く克服してくれていることも要因に挙げられるかと思います。そのような背景からエンタープライズでもHadoopを採用・検討する敷居が下がってきているように思います。

同感です。ご指摘の通りHadoopに関するノウハウが市場に貯まってきていることも大きい要因でしょう。

弊社ではHadoopに関する各種テーマを設定したミートアップ・イベントも時々開催するのですが、参加者も変わってきています。ここ最近は、エンタープライズの情シスの方々やビジネス部門の顔ぶれが目につくようになっていますので、Hadoopの情報がエンタープライズの方々にも普通に流通する状況になりつつあります。

MapR/三原

MapR/三原

アシスト/田中

アシスト/田中

中野さん、貴社(HPE社)ではDWHソフトウェアの「VERTICA」など、元々RDBから派生する製品を取り扱っていると思いますが、従来のRDBのビジネスの視点からもエンタープライズでのHadoopの盛り上がりは感じますか? もしそれを感じているとすれば、データの貯め所という観点で従来のRDBと新しいHadoopという基盤では、使い分けなどの戸惑いもでてくるように思うのですが。

まず、Hadoopの盛り上がりは年々感じます。また、弊社(HPE社)で言えば検索を超高速に行うDWHソフトウェアの「VERTICA」と大量データの蓄積を行うHadoopを採用されるお客様は、その使い分けを上手くできていると思います。

つまり「データ・レイク」的な使い分けという言い方が良いのでしょうか。Hadoopは戦略的なデータ活用に必要となりそうな多種多様なデータの蓄積基盤として採用し、その中で分散処理の技術を活かしながらデータをクレンジングした上で、使い慣れたRDBの技術でユーザビリティを上げたいデータをVERTICAに格納するといった使い分けです。

HPE/中野

HPE/中野

アシスト/宮本

アシスト/宮本

私も取り扱い製品のDMX-hを介してお客様とHadoopについて意見交換する際があるのですが、Hadoopの商用利用における運用機能も非常にスピード感ある形で改善されてきているように感じます。なので、エンタープライズでのHadoop導入の敷居も下がってきているように思います。その上で、「Hadoop」とあまり意識せずに必要なデータをHadoopへ連携して処理できること、言い換えれば以前から使っていたような方法や感覚でHadoopにおけるデータ処理を簡単に開発できれば、もっとHadoopの活用は進んでいくと思います。今まで使えていた手段を利用してHadoopを使いこなしていく、という形が今後は広がっていくのではと。

昔も今もエンタープライズにおいてビジネス部門のデータ活用には、やはりエンドユーザ・コンピューティングが望まれるケースが多いです。つまり、情報システム部門が介在することが、情報システム部門の手間的にも、ビジネス部門のスピード感的にも適さないという声は聞いています。昨今のデータ活用の機運を背景とした場合には、それがより顕著になるということです。

しかしながら、ビジネス部門にはITスペシャリストが居る訳ではないので、データを取り出すためにSQLを書くといったことは望めません。情報システム部門も、ビジネス部門の要求に応えるためにHadoop等の新データ基盤を使いこなす技術者を養成するといったことはコストが掛かります。

Hadoopというパワフルな基盤を生産性高く使いこなすためのアプローチとして、例えばMapRで分散処理兼データ蓄積環境を構築し、その上でSyncsort DMX-hを活用すれば、Hadoopでのデータ処理をGUIで開発生産性高く行うことができます。情報システム部門にとっては、習得性が上がりビジネス部門への対応スピードが上がります。ビジネス部門でも、ITスキルがそんなに高くなくてもGUI操作ならば習得が許容できると思われます。

それが全てデータのあるところ、つまりデータを都度都度移動させずともスケールアウト可能な分散処理環境の上で動く、しかもSyncsort DMX-hはSpark対応しているので、バッチ処理ではなくリアルタイム処理に限りなく近づいていくことができる。これは素晴らしいと思いますよ。データとビジネスの距離が非常に近くなります。

MapR/三原

MapR/三原

HPE/中野

HPE/中野

確かに、Hadoopがいくら使いやすくなったとは言え、新しい技術の習得ですし、まだ高度な部類に入ると思います。その点において、そういったパワフルな基盤を使い易くするためのツールは、エンタープライズにとっては活用に期待ができると思います。

三原さん、中野さん、ありがとうございます。本来であればSyncsort DMX-hの取り扱い主である弊社が語らなければいけないところを。(笑

素晴らしいコメントをいただきましたが、宮本さんは何かありますか。

アシスト/田中

アシスト/田中

アシスト/宮本

アシスト/宮本

現時点のテクノロジーでは、エンドユーザ・コンピューティングに寄り過ぎてしまうのも、統制や全体最適の観点での懸念が多いことが現状かと思います。情報システム部門とビジネス部門のバランスと協力関係は、やはり重要になるのだと思っています。

ITシステムからデータを集めて、ある程度整理して提供するところは情報システム部門が担当し、提供されたデータから自由度の高い分析を実践し、ビジネスのアクションに繋げていくところはビジネス部門が担当する。そのように、双方が連携して大きなデータマネジメントのサイクルを回していくイメージです。

そのためには、Hadoopを基盤として、データを容易に連携して加工できるSyncsort DMX-hは、情報システム部門とビジネス部門のコミュニケーションを円滑にして、データ活用を加速することができると思っています。



関連製品はこちらから

ページの先頭へ戻る