EAI/ETL技術者のブログ

データ活用

データレイク活用の敷居を下げるETLのお話 -Hadoop環境でのデータ加工を手軽にしてしまうETLがすごい件-

公開日:
更新日:
データ活用
#Precisely Connect
#Hadoop
#ETL
#イベント
データレイク活用の敷居を下げるETLのお話-Hadoop環境でのデータ加工を手軽にしてしまうETLがすごい件-

こんにちは!マーケティング担当の寺田です。今回は、「データレイクの活用」をテーマにお届けします。

ログやセンサーなどのIoTデータ、映像や音声などの非構造データなど、企業が取り扱うデータの量も種類も日に日に増え続ける昨今。

とにかくいろいろなデータを貯め込む使い勝手のよい箱として構築されがちな「データレイク」ですが、
貯めたデータをBIツールなどから「いざ使ってみよう!」と思うと...


  • データが汚すぎて使える状態じゃない・・

  • データをキレイにする前準備に時間も手間もかかりすぎる・・

というお悩みをよく耳にします。

弊社が実施したアンケート調査からも、新しくデータを活用する際に「データの変換や修正、整形、名寄せ」にもっとも苦労されていることがわかります。

新しいデータを準備する際に苦労することは? (2017年9月アシスト調べ)
新しいデータを準備する際に苦労することは? (2017年9月アシスト調べ)

分析の工程を100とすると、実際には「データを準備する」ことに全行程の80%が費やされていると言われています。

これでは、分析をスタートする頃にはデータの鮮度はすっかり落ちてしまって、まったく使えませんよね。。。

そこで、データレイク活用の鍵となるのは
「データをどうクレンジングして使える状態にするか?」
ということ。



この絵のように、汚れてしまったデータレイクから、ろ過されたキレイなお水が出てくるのが理想です。


データをクレンジングしてキレイなデータとしてすぐ使えるようにするためにアプローチとして有用なのが、「ETLツール」です。

データレイクの構築にあたっては、実装手段として分散処理環境(Hadoop)が選択されるケースが増えています。
ですが、Hadoopでデータを加工していくのは、たとえIT部門であっても敷居が高いと言われています。
その敷居、実はETLツールを利用することでその取っ払うことができてしまうんです!

なぜETLツールなら敷居を下げることができるのか?
気になる理由は、ぜひ動画でご確認ください!

最後におまけですが、今回のブログで使っているゆるい手書き風の絵は、動画にも登場するETLを愛してやまない技術者:宮本が書いたものです。個人的にこのゆるさが好きで、この場を借りてご紹介させていただきました(笑)
今回ご紹介した動画をPDFの資料でもご覧いただけますので、気になる方はぜひこちらもチェックしてみてください!
(全編に渡って宮本の絵が満載ですがいたってマジメに作成した資料です)


ページトップへ戻る


この記事をシェアする

この記事を書いたスタッフ

著者の顔写真

寺田 和歌子

寺田 和歌子