社内のクラウド基盤としてGoogle Cloud Platform（以下GCP）を利用されていますか？
GCPとはGoogleが提供するクラウドサービスをまとめたもので、クラウド環境上で様々なインフラ環境をクラウド化して利用できるサービスです。
一例として以下のようなサービスが利用できます。
Google App Engine（アプリ開発基盤）
Google BigQuery（DWH）
Google Cloud Storage（ストレージサービス）
Google Compute Engine（仮想マシン） 等
これらのサービスを利用することで素早くサービスインできる点が魅力の1つです。
Google BigQueryの活用
提供されているサービスの中でも、BIの分析基盤DWHとして現在利用が拡大しているのが「Google BigQuery」。
BigQueryは数TB(テラバイト)、数 PB(ペタバイト)のデータに対し、数秒もしくは数十秒でクエリ処理を完了させることができるビッグデータ分析(解析)サービスです。
BigQueryの速さの特長としては以下の点が挙げられます。
列志向型による高いクエリ検索パフォーマンスとデータの高圧縮性
ツリーアーキテクチャによる大規模な並列分散処理
データ分析のための必須課題
GCPではBigQueryのような高機能のDWH環境をクラウドですぐ用意できる一方、分析の源泉となるデータをクラウド環境に投入することに関しては、以下のような課題があるでしょう。
①BigQueryに合わせたデータ形式にデータを整形する必要がある
②オンプレとクラウド間のデータ授受を行う仕組みを準備する必要がある
③分析結果をBIツール等に連携する仕組みを準備する必要がある
このように、オンプレミスかクラウドサービスかを問わず複数のデータソースに散らばったデータの源泉を、形式を揃えた上でBigQueryへ連携し、一元的に統合する仕組みが必要となってきます。
DataSpiderのGCPアダプタ
そこでお勧めしたいのがEAIツール「DataSpider」の「GCPアダプタ」。
DataSpiderは国産のEAIツールで、多種多様なデータソースに対しノンプログラミングでデータ連携処理の開発ができる製品です。
そのDataSpiderにはGCPのBigQueryと、Google Cloud Storage（以下GCS）に接続可能な「GCPアダプタ」が搭載されています。
GCPアダプタの機能は以下の通りです。
Google Cloud Storageアダプタ
-GCSへのファイル・フォルダのアップロード/ダウンロード/削除
Google BigQueryアダプタ
-テーブルから取得したデータをGCSへファイル出力
-GCSのファイルを取り込みテーブルへ出力
-BigQuery上のテーブルを読み込み、別テーブルへロード
GCPアダプタを活用した構築イメージ
GCPアダプタを使うことで、以下のようなビッグデータ解析基盤の構築に活用できます。
GCPアダプタを利用し、BigQueryやGCSと連携するメリットは次の通りです。
・オンプレミスや各種クラウドサービスに散在しているデータをGCPへ容易に集約。
・BigQueryから、BIツールで利用するデータの連携基盤を構築
・Cloud Storageを経由したBigQueryへのデータ連携をスピーディに実現
まとめ
以上、DataSpiderのGCPアダプタの紹介と、GCPアダプタを活用したビッグデータ解析基盤の紹介でした。少しでも皆様の参考になれれば幸いです。
GCPアダプタの機能についてより詳細に知りたい方向けに、アダプタの詳細な設定画面を記載した資料をご用意しました。下記のリンクよりダウンロードすることが可能ですので、よろしければ是非ダウンロードしてみてください。
また弊社では、データ連携に関する様々な課題やニーズに対して情報発信を行っておりますので、興味があればぜひ下記のような記事もご覧いただけると幸いです。
ページトップへ戻る
