はじめに
本記事では、Verticaのデータロードに関する記事をまとめています。
「データロードの基本を学ぶ」の記事は各バージョンに特有の内容を含みます。
「データロードの基本操作」/「データロードコマンドのTips」/「データロード関連記事」の内容は、基本的にバージョンを問わず参考にしていただけます。
データロードの基本を学ぶ
9.3以降のバージョンを利用中の場合
Vertica特有のデータ格納方式をご紹介します。
Verticaのデータ格納方式(バージョン9.3以降)
https://www.ashisuto.co.jp/cm/analytics-database/wayofdatastore.html
データロードの具体的な方法をご紹介します。
Verticaのデータロード方法
https://www.ashisuto.co.jp/cm/analytics-database/vertica_dataload.html
Verticaの内部的なデータ整理の仕組みを紹介します。
Verticaにおける格納データ整理の仕組み
https://www.ashisuto.co.jp/cm/analytics-database/mergeout.html
9.2以前のバージョンを利用中の場合
データロードの基本
https://www.ashisuto.co.jp/cm/analytics-database/dataload_overview.html
CSVデータのロード方法
https://www.ashisuto.co.jp/cm/analytics-database/load-csv.html
データロードの基本操作
COPYコマンドの基本操作をご紹介します。
複数のCSVファイルを纏めてロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/load-for-multi-files.html
固定長データのロード方法
https://www.ashisuto.co.jp/cm/analytics-database/load-fixedwidth.html
vsqlでリモートサーバのデータベースにデータをロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/client_copy.html
CSVフォーマットのパーサを使用してロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/load-fcsvparser.html
データロードコマンドのTips
COPYコマンドのオプション使用例をご紹介します。
「￥」を文字データとしてロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/data-loading-including-backslash.html
copyコマンドでCSVファイルの先頭から複数行を読み飛ばす方法
https://www.ashisuto.co.jp/cm/analytics-database/copy_skip.html
データロードで不正データがある場合にスキップする方法
https://www.ashisuto.co.jp/cm/analytics-database/copy_enforcelength.html
データロードで不正データがある場合にロールバックする方法
https://www.ashisuto.co.jp/cm/analytics-database/load_error_rollback.html
特定列のみ囲み文字が指定されているデータをロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/load-specific-column-enclose.html
COPYコマンドでCSVの特定の列をロード対象外とする方法
https://www.ashisuto.co.jp/cm/analytics-database/copy_filler.html
データロード時に関数などを使用しロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/data_load_function.html
標準出力の結果をテーブルにロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/copy-from-stdin.html
改行をデータとしてロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/record-teminator.html
S3のデータをVerticaにロードする/外部表を使用してS3内のデータファイルを検索する
https://www.ashisuto.co.jp/cm/analytics-database/copy_directly_s3.html
圧縮されたファイルをCOPYコマンドでロードする方法
https://www.ashisuto.co.jp/cm/analytics-database/comp_copy.html
COPYでロードに成功/失敗した件数を確認する方法
https://www.ashisuto.co.jp/cm/analytics-database/copy_accept_reject_rows.html
HDFS上のデータをVerticaのテーブルにロードする方法(Hadoop連携)
https://www.ashisuto.co.jp/cm/analytics-database/hdfs_connect_load.html
一般ユーザでCOPYコマンドを利用する方法
https://www.ashisuto.co.jp/cm/analytics-database/copy_user_privileges.html
データロード関連記事
データロード時の留意事項等をご紹介します。
NULLデータロード時の注意事項
https://www.ashisuto.co.jp/cm/analytics-database/notes-for-null-data-load.html
Verticaで既存環境のテーブルのDDLとデータを一括で抽出する方法
https://www.ashisuto.co.jp/cm/analytics-database/export-all-data.html
テーブルにデフォルトのロード方式を設定する方法(8.0新機能)
https://www.ashisuto.co.jp/cm/analytics-database/set_default_road_mode.html
空文字データとNULLデータINSERT時の差異
https://www.ashisuto.co.jp/cm/analytics-database/difference-null-and-empty.html
テーブル内の重複データを確認する方法
https://www.ashisuto.co.jp/cm/analytics-database/check-overlap-data.html
データロード時の状況を確認する方法
https://www.ashisuto.co.jp/cm/analytics-database/data_load_status.html
更新履歴
2020/04/27 バージョン9.3対応記事を追加、および追加に伴い記載記事を整理
2019/07/19 「CSVフォーマットのパーサを使用してロードする方法」の記事を追記
2019/07/16 「データロード時に関数などを使用しロードする方法」の記事を追記
2015/08/24 本記事を公開