EAI/ETL技術者のブログ

  • クラウドサービスとのデータ連携を学ぶ
2021.06.30

Google BigQueryによるビッグデータ解析を実現するDataSpider GCPアダプタ

社内のクラウド基盤としてGoogle Cloud Platform(以下GCP)を利用されていますか?
GCPとはGoogleが提供するクラウドサービスをまとめたもので、クラウド環境上で様々なインフラ環境をクラウド化して利用できるサービスです。
一例として以下のようなサービスが利用できます。
 ・Google App Engine(アプリ開発基盤)
 ・Google BigQuery(DWH)
 ・Google Cloud Storage(ストレージサービス)
 ・Google Compute Engine(仮想マシン) 等
 
これらのサービスを利用することで素早くサービスインできる点が魅力の1つです。

【目次】
 ▶Google BigQueryの活用
 ▶データ分析のための必須課題
 ▶DataSpiderのGCPアダプタ
 ▶GCPアダプタを活用した構築イメージ
 ▶まとめ

Google BigQueryの活用

提供されているサービスの中でも、BIの分析基盤DWHとして現在利用が拡大しているのが「Google BigQuery」。
BigQueryは数TB(テラバイト)、数 PB(ペタバイト)のデータに対し、数秒もしくは数十秒でクエリ処理を完了させることができるビッグデータ分析(解析)サービスです。

BigQueryの速さの特長としては以下の点が挙げられます。
・列志向型による高いクエリ検索パフォーマンスとデータの高圧縮性
・ツリーアーキテクチャによる大規模な並列分散処理



データ分析のための必須課題

GCPではBigQueryのような高機能のDWH環境をクラウドですぐ用意できる一方、分析の源泉となるデータをクラウド環境に投入することに関しては、以下のような課題があるでしょう。



①BigQueryに合わせたデータ形式にデータを整形する必要がある
②オンプレとクラウド間のデータ授受を行う仕組みを準備する必要がある
③分析結果をBIツール等に連携する仕組みを準備する必要がある

このように、オンプレミスかクラウドサービスかを問わず複数のデータソースに散らばったデータの源泉を、形式を揃えた上でBigQueryへ連携し、一元的に統合する仕組みが必要となってきます。


DataSpiderのGCPアダプタ

そこでお勧めしたいのがEAIツール「DataSpider」の「GCPアダプタ」。

DataSpiderは国産のEAIツールで、多種多様なデータソースに対しノンプログラミングでデータ連携処理の開発ができる製品です。
そのDataSpiderにはGCPのBigQueryと、Google Cloud Storage(以下GCS)に接続可能な「GCPアダプタ」が搭載されています。
GCPアダプタの機能は以下の通りです。

・Google Cloud Storageアダプタ
 -GCSへのファイル・フォルダのアップロード/ダウンロード/削除

・Google BigQueryアダプタ
 -テーブルから取得したデータをGCSへファイル出力
 -GCSのファイルを取り込みテーブルへ出力
 -BigQuery上のテーブルを読み込み、別テーブルへロード


GCPアダプタを活用した構築イメージ

GCPアダプタを使うことで、以下のようなビッグデータ解析基盤の構築に活用できます。



GCPアダプタを利用し、BigQueryやGCSと連携するメリットは次の通りです。
・オンプレミスや各種クラウドサービスに散在しているデータをGCPへ容易に集約。
・BigQueryから、BIツールで利用するデータの連携基盤を構築
・Cloud Storageを経由したBigQueryへのデータ連携をスピーディに実現


まとめ

以上、DataSpiderのGCPアダプタの紹介と、GCPアダプタを活用したビッグデータ解析基盤の紹介でした。少しでも皆様の参考になれれば幸いです。

GCPアダプタの機能についてより詳細に知りたい方向けに、アダプタの詳細な設定画面を記載した資料をご用意しました。下記のリンクよりダウンロードすることが可能ですので、よろしければ是非ダウンロードしてみてください。

また弊社では、データ連携に関する様々な課題やニーズに対して情報発信を行っておりますので、興味があればぜひ下記のような記事もご覧いただけると幸いです。

AWSと連携したい-願いを簡単に叶えるDataSpider!
分散型のデータ基盤におけるDX!~サイロ化を解消するツール活用~
SlackとKintoneをAPI連携してみた ~クラウドシフトを加速させるDataSpider~


執筆者情報:

執筆者 三村高広

三村 高広(みむらたかひろ)

DX推進技術本部 デジタル推進技術統括部
2015年株式会社アシストに入社。

入社以来、EAI/ETL製品の担当部署に所属し現在「DataSpider」の担当として活動中。
「EAI技術者のブログ」を通し、皆様に様々なEAI製品導入のメリットや効果をご紹介します。

関連している記事

  • クラウドサービスとのデータ連携を学ぶ
2021.07.29

iPaaSとは~クラウドファースト時代のデータ連携~

iPaaSとはなにか?用語の説明からiPaaSに求められている機能などを簡単にわかりやすくご説明いたします!

  • クラウドサービスとのデータ連携を学ぶ
2021.04.08

SalesforceとのAPI連携を手軽に実装できるDataSpider

SalesforceとのAPI連携を手軽に実装できるDataSpider

  • クラウドサービスとのデータ連携を学ぶ
2021.03.30

AWSと連携したい-願いを簡単に叶えるDataSpider!

AWSと他システムを連携したい...その願いを叶えるのがEAIツール「DataSpider」です。RDS、Aurora for MySQL、DynamoDB、EC2など各種サービスと他システムを連携します!

DataSpider DMExpress(DMX)

ページの先頭へ戻る