Google BigQueryによるビッグデータ解析を実現するDataSpider GCPアダプタ

【目次】
　▶Google BigQueryの活用
　▶データ分析のための必須課題
　▶DataSpiderのGCPアダプタ
　▶GCPアダプタを活用した構築イメージ
　▶まとめ

提供されているサービスの中でも、BIの分析基盤DWHとして現在利用が拡大しているのが「Google BigQuery」。
BigQueryは数TB(テラバイト)、数 PB(ペタバイト)のデータに対し、数秒もしくは数十秒でクエリ処理を完了させることができるビッグデータ分析(解析)サービスです。

BigQueryの速さの特長としては以下の点が挙げられます。
・列志向型による高いクエリ検索パフォーマンスとデータの高圧縮性
・ツリーアーキテクチャによる大規模な並列分散処理

GCPではBigQueryのような高機能のDWH環境をクラウドですぐ用意できる一方、分析の源泉となるデータをクラウド環境に投入することに関しては、以下のような課題があるでしょう。

①BigQueryに合わせたデータ形式にデータを整形する必要がある
②オンプレとクラウド間のデータ授受を行う仕組みを準備する必要がある
③分析結果をBIツール等に連携する仕組みを準備する必要がある

このように、オンプレミスかクラウドサービスかを問わず複数のデータソースに散らばったデータの源泉を、形式を揃えた上でBigQueryへ連携し、一元的に統合する仕組みが必要となってきます。

そこでお勧めしたいのがEAIツール「DataSpider」の「GCPアダプタ」。

DataSpiderは国産のEAIツールで、多種多様なデータソースに対しノンプログラミングでデータ連携処理の開発ができる製品です。
そのDataSpiderにはGCPのBigQueryと、Google Cloud Storage（以下GCS）に接続可能な「GCPアダプタ」が搭載されています。
GCPアダプタの機能は以下の通りです。

・Google Cloud Storageアダプタ
　-GCSへのファイル・フォルダのアップロード/ダウンロード/削除

・Google BigQueryアダプタ
　-テーブルから取得したデータをGCSへファイル出力
　-GCSのファイルを取り込みテーブルへ出力
　-BigQuery上のテーブルを読み込み、別テーブルへロード

GCPアダプタを使うことで、以下のようなビッグデータ解析基盤の構築に活用できます。

GCPアダプタを利用し、BigQueryやGCSと連携するメリットは次の通りです。
・オンプレミスや各種クラウドサービスに散在しているデータをGCPへ容易に集約。
・BigQueryから、BIツールで利用するデータの連携基盤を構築
・Cloud Storageを経由したBigQueryへのデータ連携をスピーディに実現

以上、DataSpiderのGCPアダプタの紹介と、GCPアダプタを活用したビッグデータ解析基盤の紹介でした。少しでも皆様の参考になれれば幸いです。

GCPアダプタの機能についてより詳細に知りたい方向けに、アダプタの詳細な設定画面を記載した資料をご用意しました。下記のリンクよりダウンロードすることが可能ですので、よろしければ是非ダウンロードしてみてください。

また弊社では、データ連携に関する様々な課題やニーズに対して情報発信を行っておりますので、興味があればぜひ下記のような記事もご覧いただけると幸いです。

・AWSと連携したい－願いを簡単に叶えるDataSpider！
・分散型のデータ基盤におけるDX！～サイロ化を解消するツール活用～
・SlackとKintoneをAPI連携してみた ～クラウドシフトを加速させるDataSpider～

執筆者情報：

三村 高広（みむらたかひろ）

DX推進技術本部 デジタル推進技術統括部
2015年株式会社アシストに入社。

入社以来、EAI/ETL製品の担当部署に所属し現在「DataSpider」の担当として活動中。
「EAI技術者のブログ」を通し、皆様に様々なEAI製品導入のメリットや効果をご紹介します。