TOP>製品/サービス>カテゴリから探す>データ連携(ETL/EAI)>Syncsort DMX-h>コラム>【特別対談】ビッグデータ活用の「これから」を解明する(後編)

Syncsort DMX-h

【特別対談】ビッグデータ活用の「これから」を解明する(後編)

企業におけるデータ活用の変化と取り組み事例

アシスト/田中

アシスト/田中

先ほどHadoopの盛り上がりのところで、エンタープライズでのデータ分析への取り組みについて言及がありましたが、企業活動におけるデータ蓄積やその活用は具体的にどのような変化が起こっていると思いますか? ちょっと前ではビッグデータ、ソーシャルメディア、オープンデータ、最近ではIoTといったキーワードが関わってきそうですが。

業界や業種によってその状況は違うかもしれません。

通信業では、昔から膨大なデータを使いこなしたい、使いきりたいという命題がありましたが、最近やっとそれを実現するための技術が追い付いてきたように思えます。膨大なデータから通信状況管理や顧客分析などといった、データ活用が思うようにできるようになってきた、というところでしょう。製造業などでは、品質管理や在庫管理などの更なる高度化をM2MやIoTの手段を通じて実現することが注目されています。

ここでの「技術」というのは、コンピュータやストレージ、センサやスマートフォンなどのH/Wデバイスや、大量データを効率的に処理するためのデータ処理技術が特殊な世界ではなく汎化されて一般でも活用できるようになってきた背景があります。

HPE/中野

HPE/中野

アシスト/宮本

アシスト/宮本

企業としての即応性を高めるため、バッチのタイミングをより短い間隔で、よりリアルタイムに近づけて行きたいというニーズが多く見られますね。「いままでのバッチ処理時間を夜間バッチのウィンドウに収められるか?」に加えて、日中にもバッチ処理を細切れで実施して速報値を出していく、などです。

なるほど。中野さんと宮本さんからのコメントからは、企業活動におけるデータ活用の機運といった点、そのデータ活用を高度に支えるためのIT技術の進化といった点が見えますね。

ちなみにそのような観点で、お客様における実際の取り組み事例などはご存知ですか?

アシスト/田中

アシスト/田中

MapR/三原

MapR/三原

お客様事例といった点と宮本さんがコメントされた即応性という点でアメリカの某GMSでは、ネット上の他ECサイトなどの最低価格をほぼリアルタイムで収集して、店舗販売価格に反映することで最安値保証をすることを始めています。ネットと同じ価格ということが保証されていれば、店舗に出向いて買う消費者行動を促せますよね。他のチェーンとの差別化ももちろんできます。

このようにバッチ処理がどんどん短くなっていくと、違うサービスや違う業務が出現してきます。バッチ処理に2時間以上要するのであれば、その処理は夜間に行われる可能性が高くなると思いますが、それが30分以内ということになってくると日中の営業時間やオンライン中に処理を行うことも考えられます。その日のデータがその日の内に活用できるわけですからビジネスへのインパクトも明らかに変わってきます。パフォーマンスやアジリティが上がることによるビジネスメリットですね。

いわゆるマイクロバッチやミニバッチと呼ばれるところですよね。最近だと、リアルタイムにほぼ近いストリーミング処理といった世界になるのでしょうか。ちなみに、多くのエンドユーザー様に接しておられる中野さんとしては、日本のお客様におけるこのような取り組みはどうでしょう?

アシスト/田中

アシスト/田中

HPE/中野

HPE/中野

日本では、先鋭的な取り組みをされる企業も保守的な企業もいらっしゃいますが、全体としてはまだまだこのような取り組み事例は少ないと思います。このような自社のビジネスに影響を与えるトレンドにかかわらず、提供データの即時性を検討されるお客様の数は限られているように感じます。ユーザビリティ確保のためには分析処理の即応性も大切ですが、ビジネスに貢献する結果を出すためには、分析対象データの即時性も重要です。

三原さんと中野さんのお話は、新しい戦略的な取り組みに付帯するデータ処理の在り方だと思うのですが、そのアメリカで既存業務における典型的なバッチ処理が無くなっているかと言うとそういうことではないと思います。典型的なバッチ処理はRDBやDWHで実装されるケースが多いのでワークロード面でもコスト面でも負担が大きいところに対し、そのバッチ処理をHadoopにオフロードすることで、分散処理による効率化とRDBやDWHのキャパシティを上げることでコスト最適化を狙うトレンドがあり、アメリカの大手銀行などでも多く採用されています。DBオフロードとかDWHオフロードと呼ばれていますが、Hadoopは、コストの安いデータ処理基盤と見立てているようですね。ただそうするとHadoopでのMapReduceによる開発では生産性があまり望めないので、Syncsort DMX-hのようなツールを入れて開発生産性を向上させる活用方法が、Syncsort DMX-hの事例としては多い状況です。

アシスト/宮本

アシスト/宮本


エンタープライズにおける今後のデータ活用基盤とは

アシスト/田中

アシスト/田中

先ほどの内容と重複する点もあるかと思いますが、企業におけるデータ活用の変化に伴ってデータ活用基盤も変わってくる可能性があるかと思うのですが、今後どのような方向に向かうと思われますか?

最近に限った話でもないのですがよくお悩みとしていただくのは、データ分析環境が企業内に乱立してしまって、企業全体としてもっと共通したレイヤーでデータを活用できないかというものです。データ活用の機運とこのようなお悩みを背景として、個別最適から全体最適へとデータ活用基盤も変化していくのではないかと考えています。

HPE/中野

HPE/中野

MapR/三原

MapR/三原

基幹システムや業務システムのDB統合というテーマが以前よりあると思います。今後も続くと思いますが、この背景には個別最適で構築してきたシステムを、バックエンドとなるDBは統合して最適化しましょう、という観点です。

基幹システムや業務システムの範疇とは異なりますが、データ活用の範疇でも、ファイル・ストレージ、DWH、HadoopやNoSQLなど、データの貯め所があれもこれも乱立していけば、できることなら基盤としてまとめたいというニーズはでてくるかと思います。というより、既にアーリーアダプタからはそのニーズが上がり始めています。

ただ「データ活用の分野はエンドユーザ・コンピューティングが望まれる」ということを先ほど述べたと思うのですが、この分野はデータの貯め所だけでなく、データの収集や入出力、データ加工などの手段が利用者にとって使い易いかどうか最重要事項の一つとして考えることが重要だと思うのです。もちろん、そのユーザビリティ面に伴って、アジリティ面やパフォーマンス面、コスト面も併せて考慮しなければなりません。全体最適といっても、データ活用のための利便性が高くなければ、新しいデータ活用基盤は成り立たないと考えます。

ビジネス部門でデータの発生源からデータの収集と加工、可視化・分析といった活用までを大規模に一気通貫で行えるようなツールは無いというのが現状かと思います。したがって、ビジネス部門がデータを活用するに際し、なんでもかんでもデータを利用する訳ではないので、然るべき方が簡単に必要であろうデータを素早く用意できることも重要かと思います。

最適化という観点では、ビジネス部門の利用者たる視点での個別最適と情報システム部門の視点からの全体最適の丁度バランスのとれたところがベストプラクティスとなることが現時点での現実解ではないかと思っています。

アシスト/宮本

アシスト/宮本

HPE/中野

HPE/中野

私もそう思います。データ活用のビジネスニーズを持つ利用者自身が、特別なスキルを必要とすることなく簡単にデータを活用できる基盤が理想です。RDBであろうが分散処理環境であろうが利用者にとっては関係ないので裏側の仕組みは隠蔽しつつ、それらを上手くハイブリッドに構成してビジネスニーズを満たすことが現実解だと思います。

大規模なデータ活用ができるようになってきたとは言え、求める理想と現実にまだまだギャップがあるような感じがしますね。少々具体的に踏み込みますが、その裏側の仕組みとしての選択肢であるHadoopと例えばVERTICAといったRDBの違いは何でしょうか?

アシスト/田中

アシスト/田中

MapR/三原

MapR/三原

コストです(笑

同じくコストですね(笑

データ量との兼ね合いにもなりますが、コストが許容できるレベルであれば、使い慣れたスキルセットでRDBをご利用いただくのが良いと思います。

HPE/中野

HPE/中野

アシスト/田中

アシスト/田中

お二人揃っての共通意見としてコストですか(笑

では、一方のHadoopの課題とは何でしょうか?

まだテクノロジーが新しく技術進化も速いので、Hadoopを取り扱うスキルセットがまだ一般化していないことと考えています。

MapR/三原

MapR/三原

アシスト/田中

アシスト/田中

商用ディストリビューターの貴社にとってもそのように思いますか?

思います。もちろんHadoopの進化により、より利便性も向上していることは確かですし、今なお進化し続けています。Hadoopを構築することならまだしも、その上でデータを処理して活用することが本質的な目的なので、そこへのアプローチが簡単ではないことは課題だと思います。

ただ、この課題をクリアして、Hadoopを始めとした新データ基盤がビジネス戦略を支えるIT基盤の中核として活用されているお客様もいることはお伝えしておきたいことです。IDCが「第3のプラットフォーム」*と唱えているのもこれ故でしょう。

*IDCが提唱するIT市場成長をもたらす新しい基盤(モバイル、ソーシャル、ビッグデータ、クラウドの4要素で構成される)を指す。
出典:IDC Japanプレスリリース「国内第3のプラットフォーム市場 産業分野・企業規模別予測を発表」(2016年7月14日)

MapR/三原

MapR/三原

HPE/中野

HPE/中野

そこでSyncsort DMX-hですよね(笑

例えば「Hadoopでクレンジングしましょう」なんて、言葉では簡単に言えますが、実際にはお客様自身で達成することは簡単なことではない。でもそこに「Syncsort DMX-hというツールがあれば!」というのはあるのではないですか?

中野さん、ありがとうございます。また、本来であれば弊社が語らなければいけないところを。(笑

私どもも、多くのエンタープライズにおいて、データマネジメントを最適化することに分散処理基盤を活用したのだけど、そのできない要因、ギャップを埋めるものとしてお役に立てればと考えています。

アシスト/宮本

アシスト/宮本

MapR/三原

MapR/三原

わかりやすいかどうかわかりませんが、私の個人的なSyncsort DMX-h on MapRの印象は『セミAT車の高級スポーツカー』なんです。通常の高級スポーツカーでは上質なエンジンやサスペンションを有していても、マニュアル免許とマニュアル操作の技能がないと運転できません。しかし、セミATであれば特別な免許や技能がなくても運転でき、高級スポーツカーのスピードとラグジュアリーを体感できますよね。誰でも高級スポーツカーの良いところを享受できる訳です。それに近い感覚です、Syncsort DMX-hは。


会場風景


データ活用基盤を検討されるお客様へ

アシスト/田中

アシスト/田中

これを読んでいただいている方々や今後のデータ活用基盤についてご興味を持たれている方々に向けて、何かメッセージがあれば是非いただきたいのですが?

「まずはアシストさんに相談してみてはいかがでしょう?」ってなっちゃいますね(笑

実際のところ3年ぐらい前はHadoopの技術勉強会してください、という声が多かったように、そこで何ができるか関係無くHadoopという名前が先行していたと思います。今は「これがしたい!」という目的が先行して、結果Hadoopをはじめとした分散処理基盤という選択肢があるという順序です。これは良い傾向だと思っています。

HPE/中野

HPE/中野

MapR/三原

MapR/三原

あはは、そうですね。本当に行動しないと!

実際に行動する企業とは差がどんどんついてしまうマズイ状況かと私見では思っています。もちろんビジネスニーズがあって然りですが、行動を起こすための相談をどんどんいただきたいですよね。アシストさんに相談いただければ、我々が三位一体で対応できる訳ですから。

弊社の経験からは、データを活用したビジネスの推進は、その業種業界によってシナリオがまったく変わってきます。お客様のビジネスニーズに合わせたシナリオやユースケースが必要です。弊社のノウハウからお客様に最適なデータ活用が実現できるようコンサルティングを行っておりますので、是非ご相談いただければと思います。

HPE/中野

HPE/中野

アシスト/宮本

アシスト/宮本

中野さんの仰っしゃる通り、お客様の業種業態やデータ活用の目的に応じた、シナリオやユースケースが多くのお客様には参考になると思っています。弊社は従来のDWHを中核としたデータ活用基盤の実績も多いですので、Hadoopによるデータ・レイクを実現する新しいデータ活用基盤の構築もお手伝いできるかと思っています。

特に私の担当分野では、素早くデータを連携し、素早く使える形のデータにすることによって、よりスピード感のあるデータ活用を支援していきたいと思っております。

三原さん、中野さん、宮本さん、ありがとうございました。

本日は、私も弊社製品を通してデータマネジメントの分野で活動する者として、現状の確認や各社の皆様の知見を拝受でき、非常に有意義でした。ここでのやり取りが、これからのデータ活用を検討される方々にとって、少しでも参考となれば素晴らしいと思っています。また時間を置いて、ぜひ意見交換を交わしたいですね。

本日は、貴重なご意見とお時間をありがとうございました。

アシスト/田中

アシスト/田中

関連製品はこちらから

ページの先頭へ戻る