Snowflakeアダプタ使ってみた

秘密鍵は、DataSpiderファイルシステム（インストールディレクトリ配下）に配置する必要があります。/data配下に配置するのが一般的です。

使えるアイコンは以下の5つです。
　・テーブル読み取り
　・検索系SQL実行
　・テーブル書き込み
　・更新系SQL実行
　・COPY INTO テーブル実行
COPY INTO以外のアイコンは、他のDB系のアダプタと操作感が同じなので、今回は省略します。
COPY INTOアイコンの設定項目を1つずつ見ていきます。
（データ処理方式とコメントは他アダプタと同じなので省略）

こちらは接続先にグローバルリソースを指定したうえで、ステージ名とテーブル名が必須項目になっています。

「ステージ一覧の取得」をクリックすると、ステージ名をプルダウンから選べるようになります。ステージは外部ステージも内部ステージも選択可能です。

ここで嬉しいポイントは、ステージ上のファイル/フォルダパスの入力欄でスクリプト変数を使えるところです。バケットのプレフィックスを日付や月ごとに切っているケースなどは多々あると思うので、そういうケースに対応できそうですね。

以下では、スクリプト変数に現在の日付を代入しています。上記のように、ステージ上パスにスクリプト変数を使って読み取る値を動的に変更したい場合は、事前にスクリプト変数に値を代入しておく必要があります。

また、テーブル名もプルダウンから選ぶことができます。
もちろん、COPYコマンドを直接書くことも可能です。

以下の通り、正規表現マッチやファイル名指定でのロードが可能です。

それぞれ、SnowflakeのCOPYコマンドのPATTERNオプション、FILESオプションに対応しています。


ファイル名指定のとき、スクリプト変数が使えるのでこれも使い道があるかもしれませんね。

Snowflakeにインポートするデータファイルのフォーマット（例: CSV、JSON、Parquetなど）を指定することができます。こちらは、直書きが必要です。

SnowflakeのMATCH_BY_COLUMN_NAMEオプションに対応した設定となります。
こちらの設定では、データソースの列とテーブルの列をどのように対応させてデータをロードするのか決めることができます。
また、Table Schema Evolutionオプションを有効化にすると、データソースに新しくスキーマが追加されたとしても自動でテーブルに列を追加することができるようになります。

COPY INTOでよく使われるON_ERRORオプションに対応した設定となります。

以下のフローにて処理を実行してみました。

処理実行に成功しました！

Snowsight画面からも確認すると、問題なくCOPY INTOが実行されたことがわかります。

以上、Snowflakeアダプタの機能紹介でした。少しでも皆様の参考になれれば幸いです。
また、Snowflakeアダプタ導入に際して事前にアダプタ検証を行うことも可能です。
ご要望ございましたら、ぜひ以下のフォームよりお問い合わせください。

＜DataSpiderお問い合わせフォーム＞
　https://www.ashisuto.co.jp/pa/contact/dataspider.html

執筆者情報：

村上 舞（むらかみ まい）

DX技術本部 DX技術統括部 DI技術部

2022年新卒でアシストへ入社。

入社以来、データ連携製品のフィールド技術者として従事。

趣味は居酒屋巡り。