データレイク活用の敷居を下げるETLのお話－Hadoop環境でのデータ加工を手軽にしてしまうETLがすごい件－

データレイク活用の敷居を下げるETLのお話

こんにちは！マーケティング担当の寺田です。

今回は、「データレイクの活用」をテーマにお届けします。

ログやセンサーなどのIoTデータ、映像や音声などの非構造データなど、企業が取り扱うデータの量も種類も日に日に増え続ける昨今。

とにかくいろいろなデータを貯め込む使い勝手のよい箱として構築されがちな「データレイク」ですが、
貯めたデータをBIツールなどから「いざ使ってみよう！」と思うと...

データが汚すぎて使える状態じゃない・・
データをキレイにする前準備に時間も手間もかかりすぎる・・

というお悩みをよく耳にします。

弊社が実施したアンケート調査からも、新しくデータを活用する際に「データの変換や修正、整形、名寄せ」にもっとも苦労されていることがわかります。

新しいデータを準備する際に苦労することは？
_{(2017年9月アシスト調べ)}

分析の工程を100とすると、実際には「データを準備する」ことに全行程の80％が費やされていると言われています。

これでは、分析をスタートする頃にはデータの鮮度はすっかり落ちてしまって、まったく使えませんよね。。。

そこで、データレイク活用の鍵となるのは
「データをどうクレンジングして使える状態にするか？」
ということ。

この絵のように、汚れてしまったデータレイクから、ろ過されたキレイなお水が出てくるのが理想です。

データをクレンジングしてキレイなデータとしてすぐ使えるようにするためにアプローチとして有用なのが、「ETLツール」です。

データレイクの構築にあたっては、実装手段として分散処理環境（Hadoop）が選択されるケースが増えています。
ですが、Hadoopでデータを加工していくのは、たとえIT部門であっても敷居が高いと言われています。
その敷居、実はETLツールを利用することでその取っ払うことができてしまうんです！

なぜETLツールなら敷居を下げることができるのか？
気になる理由は、ぜひ動画でご確認ください！

オーバーレイで閉じる

▲ 解説動画を視聴 オーバーレイで閉じる

最後におまけですが、今回のブログで使っているゆるい手書き風の絵は、動画にも登場するETLを愛してやまない技術者：宮本が書いたものです。
個人的にこのゆるさが好きで、この場を借りてご紹介させていただきました(笑)
今回ご紹介した動画をPDFの資料でもご覧いただけますので、気になる方はぜひこちらもチェックしてみてください！
（全編に渡って宮本の絵が満載ですがいたってマジメに作成した資料です）