アシストテクニカルフォーラム2017 「ビッグデータ」セッション

クラウドの普及に伴い、企業システムはクラウドとオンプレミス環境をハイブリッドで保持するようになりつつある。さらに、データ統合を行い、顧客特性をつまびらかにし、高い顧客満足度を得ようとする「デジタル化」の動きもある。

データへのアクセスは複雑かつ年々要求レベルが高くなる一方であり、クラウドを含めたデータアクセスのあり方を再構築する必要がある。既存技術を使ったデータアクセスでは、セキュリティ面、性能面、利便性で時代の要請には追い付かないのが現状。そこに目を付けた米国Progress社のソリューション、「Progress DataDirect Hybrid Data Pipeline」を本邦初公開した。

デモを交えながら、ハイブリッドな環境下におけるデータアクセスがODBCやJDBCといった一般的なインターフェースを使って実現できていることを紹介し、「データレイク」や「データ・プレパレーション」にどう活かされるのかを示した。

（講師：情報基盤技術統括部　課長　佐藤 彰広）

増加するデータからビジネスの競争優位を築く重要性が高まる中、データレイクとしてHadoopの採用が進んでいる。

その理由は、コスト構造とスケーラビリティにある。構成技術要素は大きく変化し、もはやHadoopという名称が示す範囲もあいまいになってきているが、分散処理と分散ストレージをデータレイクと位置付けて情報活用につなげる流れは、これからさらに加速していくと考えられる。大量のデータが集約されるデータレイクにおいて、クレンジングは情報活用の成果に直結する重要課題だが、IT部門にとって構成技術要素のレイヤが多いHadoopへの技術的な敷居は高いと言える。

DMX-hは、標準化を促すUIがHadoopへの敷居を下げると同時に、処理効率の高いエンジンがデータレイクへのデータ取り込み・クレンジング・データウェアハウス連携までを強力にサポートする。データレイクを最大限に活用するために、ぜひともDMX-hをお役立ていただきたい。

最近急増しているIoTデータの分析や機械学習の活用に対して、Verticaでそれらを実現する方法を紹介した。

Verticaは大量データの高速分析を得意とし、Enterprise DWHで利用されることが多いが、ビッグデータ分析基盤としても活用できる様々な機能を兼ね備えている。例えば、Flex Table機能を使うと、IoTのログデータとしてよく利用されるJSONフォーマットのデータをそのままVerticaに格納することができる。そしてユーザーはFlex Tableに格納されたデータを、通常のテーブルと同じように標準SQLで検索することが可能となる。また、格納したデータをVertica自身に実装されている機械学習機能を利用して活用することもできる。当セッションでは、実際に機械に取り付けたセンサーデータをVerticaにリアルタイムでロードし、機械学習で異常を検知する様子をデモで披露した。

（講師： データベース技術本部　佐伯 竜輔）