VSQLを使用してAWSのS3からロードする方法

はじめに

VerticaでAWSのS3からデータロードすることはVertica7.2.2から可能になりました。
VSQLを使用してAWSのS3からデータをロードする手順をご紹介します。

１．VerticaでAWS_ACCESS_KEY_IDを設定します。

dbadmin=> ALTER SESSION SET UDPARAMETER FOR awslib aws_id = '<AWS_ACCESS_KEY_ID>';

２．VerticaでAWS_SECRET_ACCESS_KEYを設定します。

dbadmin=> ALTER SESSION SET UDPARAMETER FOR awslib aws_secret = '<AWS_SECRET_ACCESS_KEY>';

３．Verticaでリージョンを設定します。

dbadmin=> ALTER SESSION SET UDPARAMETER FOR awslib aws_region = '<リージョン>';

４．COPYコマンドを使用してS3のデータをロードします。

dbadmin=> COPY test SOURCE S3(url='<URL>');

S3に存在するCSVファイルをVerticaにロードします。

・S3のファイル内容を確認します。
test.csvの内容

1,”AAA”
2,”BBB”
3,”CCC”

・AWS_ACCESS_KEY_IDを設定します。

dbadmin=> ALTER SESSION SET UDPARAMETER FOR awslib aws_id='xxxxxxxxxxxxxxxxxx';

・AWS_SECRET_ACCESS_KEYを設定します。

dbadmin=> ALTER SESSION SET UDPARAMETER FOR awslib aws_secret='xxxxxxxxxxxxxxxxxxxxxxxxxx';

・リージョンを設定します。

dbadmin=> ALTER SESSION SET UDPARAMETER FOR awslib aws_region='ap-northeast-1';

・COPYコマンドを使用してS3のtest.csvをロードします。

dbadmin=> COPY test SOURCE S3(url='s3://csvdata01/test.csv') delimiter ',' enclosed by '"';

・ロードした結果を確認します。

dbadmin=> select * from test;
 col1 | col2
------+------
    1 | AAA
    2 | BBB
    3 | CCC
(3 rows)

Management Consoleを使用してAWSのS3からロードする場合は以下のURLを参照ください。
https://www.ashisuto.co.jp/cm/analytics-database/aws_s3_vertica_mc_load.html

この記事の内容はVertica 8.1で確認しています。