vertica, dwh, データウェアハウス

1. アプリケーション設計ガイド
データロード設計
バージョン9.1, Enterprise mode
作成日：2018年4月18日
更新日：2018年7月4日
1

2. 更新履歴
版 日付 変更者 変更内容 備考
1.0 2018年4月18日 大林 加奈子 初版発行
1.1 2018年7月4日 大林 加奈子 9.1版
※注意点
社外に提示する際は、本スライド(更新履歴)を削除し、PDF化
してお渡しください

3. Agenda
 データロードに関するチェックポイント
 Verticaでのデータロード処理の概要説明
 データロード処理の種類と最適なデータロード設計
 ソースデータ設計
 制約違反チェック設計
 エラーファイル出力設計
 データロードのモニタリング関連設計
 関連ページ

4. データロード設計に関するチェックポイント
• YESの場合：次のチェックポイントへ
• NOの場合：「Verticaでのデータロード処理の概要説明」へ
Verticaでは、ディスク上とメモリ上
にデータロード可能であることを認
識されていますか？
• YESの場合：次のチェックポイントへ
• NOの場合：「データロード処理の種類と最適なデータロード設計」へ
COPY、INSERTを使ってデータロー
ドが適切に設計されていますか？
• YESの場合：次のチェックポイントへ
• NOの場合：「ソースデータ設計」へ
COPY実行に適切なソースデータに
なっていますか？

5. データロード設計に関するチェックポイント
• YESの場合：次のチェックポイントへ
• NOの場合：「制約違反チェック設計」へ
制約違反発生を考慮したデータロー
ド設計になっていますか？
• YESの場合：次のチェックポイントへ
• NOの場合：「エラーファイル出力設計」へ
エラー発生時に参照すべきファイル
の出力先が設計されていますか？
• YESの場合：終了
• NOの場合：「データロードのモニタリング関連設計」へ
データロード実行時、実行後のモニ
タリングを考慮した設計になってい
ますか？

6. Verticaでのデータロード処理の
概要説明
6

7. Verticaでの2つの異なるデータロード方式
1. Trickle Load - メモリー領域（WOS）への
書き込み
少量のデータ更新に適した方式
2. Bulk Load – ディスク領域（ROS）への書
き込み
大量のデータ更新に適した方式 Verticaテーブル
WOS
（Write Optimized Store）
= Memory
Big Data
ROS
（Read Optimized Store）
= Disk
Verticaclient
Fast Data
大量データを直接ディスクに書き込み
WOSの不使用により、
= メモリリソースを節約
メモリ書込終了時に、
Clientに完了が返る
= No Disk I/Oの高速更新
非同期でDiskに自動反映
複数更新の一括反映
=ROSファイルを増やさない
Trickle Load
Bulk Load
• Bulk Loadの使用には、SQLにDIRECTオプションを付与
• デフォルトは、Trickle
例）Insert /*+ direct */ into table values ……;
COPY table from … DIRECT;
COMMIT済データであれば、データが
どちらにあっても透過的に参照可能

8. ROSとWOS
Verticaでは、ディスク上とメモリ上にデータを保持可能
 Read Optimized Store（ROS）… ディスク上に、最適化されたデータ格納
 Write Optimized Store（WOS）… メモリ上に、低レイテンシのデータロードでデータ格納
Vertica#1 Vertica#2 Vertica#3 Vertica#4 Vertica#5
Data#1 Data#2 Data#3 Data#4 Data#5
Read Optimized Store（ROS）
Data#1
Data#2
Data#3
Data#4
Data#5
ソースデータ
Write Optimized Store（WOS）
Data#1 Data#2 Data#3 Data#4 Data#5
• ディスク上
• ソート済／圧縮済
• 分散化
• 大量データを直接ロード
• メモリ上
• 未ソート／非圧縮
• 分散化
• 低レイテンシ／少量で短時
間のInsert
どちらにも
ロード可能TUPLE MOVER(Moveout)
非同期データ転送

9. データロード処理の種類と
最適なデータロード設計
9

10. データロード処理の種類
INSERTとCOPYコマンドでデータロード可能
 INSERT
- オーバーヘッドが高いため、使用頻度をおさえることを推奨
- デフォルトは、TRICKLE設定。DIRECTも指定可能
- 他テーブルから一度にデータコピーする場合、INSERT /*+DIRECT*/ … SELECT … 等の方法あり
 COPY
- データベースへのロードがより速く実行可能
- デフォルトは AUTO 設定
- 並列ロード可能

11. COPYコマンドを使ったデータロード方式
Vertica上のファイルを
ロード
クライアント上のファイルを
ロード
標準入力の内容をロード
SQL文
COPY テーブル名 FROM ファイルの
パス
COPY テーブル名 FROM LOCAL ファ
イルのパス
COPY テーブル名 FROM STDIN
EXCEPTIONS（エラーの内
容）生成場所
・Vertica上（接続ノード）
・出力先指定可能（指定しない場
合、カタログディレクトリ以下に
出力される）
・クライアント上
・EXCEPCTIONSオプションで指定す
る必要あり（指定しない場合、出
力されない）
・Vertica上（接続ノード）
・出力先指定可能（指定しない場
合、カタログディレクトリ以下に
出力される）
REJECTED DATA（エラー
レコード）生成場所
・Vertica上（接続ノード）
・出力先指定可能（指定しない場
合、カタログディレクトリ以下に
出力される）
・クライアント上
・REJECTED DATAオプションで指定
する必要あり（指定しない場合、
出力されない）
Vertica上（接続ノード）
出力先指定可能（指定しない場合、
カタログディレクトリ以下に出力
される）
REJECTED DATA AS TABLEパ
ラメーター
対応 非対応 対応
標準出力の内容 ・ロード成功件数
・シンタックスエラー（エラー発
生時のみ）
・ロード成功件数
・シンタックスエラー（エラー発
生時のみ）
・シンタックスエラー（エラー発
生時のみ）
留意点 ・ソースファイルをVerticaサー
バー上にアップロードする必要あ
り
・dbadminロール、あるいは、
pseudosuperuserロールでのみ実行
可能

12. データロード時に考慮すべき3つのオプション
AUTO（デフォルト） DIRECT TRICKLE
概要
WOSへのロードを開始し、WOSが
あふれた場合ROSコンテナへ直接
データロード
ROSコンテナへ直接データロード WOSのみへデータロード
最適なケース 少量バルクロード 100MB以上のサイズの大量バルク
ロード
頻繁な少量データロード
詳細 ロード時にオプションが設定され
ていない場合、VerticaはAUTOオプ
ションを採用し、WOSへデータ
ロードを開始します。WOSがいっ
ぱいなると、VerticaはROSコンテ
ナへ直接データロードを開始しま
す。
DIRECTオプションを付与すると、
WOSを飛ばし、ROSへ直接データ
ロードします。DIRECTオプション
は、100MB以上のデータを一度に
ロードする際に最適です。
TRICKLEオプションを付与すると、
WOSにデータロードします。 WOS
がいっぱいになるとエラーが発生
し、データロード全体がロール
バックされます。 このオプション
は、次の条件に該当する場合にの
み使用します。
・ロード処理が調整されており、
moveout関連の設定も適切
・WOSがロードデータを保持可能
12

13. INSERT概要
 ステートメントあたりのオーバーヘッドが高いため、使用頻度をおさえることを推奨
 デフォルトは、TRICKLE設定。DIRECTオプションも指定可能
 他テーブルから一度にデータコピーする場合、INSERT /*+DIRECT*/ … SELECT … 等の方法あり
 例： INSERT /*+DIRECT*/ … VALUES …
CUST_ID
1111
1112
1113
1114
ITEM_NAME
商品A
商品B
商品C
商品D
P_TIMESTAMP
2016/9/1 10:00:00
2016/9/1 10:00:00
2016/9/1 10:00:30
2016/9/1 10:01:30
SALES_AMOUNT
1000
500
800
1200
INSERT
テーブル
商品E 1115 2000 2016/9/1 10:02:00
ステートメント単位で新規ファイルが生成される
（既存ファイルの書き換えはしない）

14. スクリプトで実行する場合（推奨）
1. カレントディレクトリの値をt_pwdに
セットする。
2. 入力ファイルのパスをinput_fileにセット
する。
3. COPYコマンドを実行する。
インタラクティブに実行する場合
 COPY FROM STDINの実行例（Verticaサー
バー上で実行する場合）
 COPY FROM LOCAL STDINの実行例（クラ
イアントサーバー上で実行する場合）
14
set t_pwd `pwd`
set input_file
''':t_pwd'/Date_Dimension.tbl''
=> COPY Date_Dimension FROM :input_file
DELIMITER '|';
$ cat fact_table.tbl | vsql -c "COPY FACT_TABLE
FROM STDIN DELIMITER '|' DIRECT";
$ cat fact_table.tbl | vsql -c "COPY FACT_TABLE
FROM LOCAL STDIN DELIMITER '|' DIRECT";
COPYコマンドの実行例

15. COPYコマンドのオプション例
詳細はこちら
オプション名 概要
FILLER datatype 該当の列とそのフィールドがロード先テーブルにロードされないように指定。このオプションを使用す
ることにより、ロード時に特定の列データのスキップや、データ変換を実装可能
FORMAT 'format' 日付・時刻およびバイナリ列をロードする際に使用する入力書式を指定
input-file-format 下記の入力ファイル形式を指定
• UNCOMPRESSED（デフォルト）
• BZIP
• GZIP
• LZO
DELIMITER 区切り文字を指定。E‘000’ ～ E‘177’の範囲の任意のASCII文字である必要あり
ESCAPE [AS] 指定した文字を特殊文字ではなく文字通りに解釈する必要があることを示すエスケープ文字を設定。
E‘001’ ～E‘177’の範囲の任意のASCII文字（NULLを除く任意のASCII文字）を使用してエスケープ文字を定
義可能
NO ESCAPE エスケープ文字の処理を排除する設定
ENCLOSED [BY] 区切り文字を文字列に埋め込むことができるように、囲み文字を設定。E‘001’～E‘177’の範囲の任意の
ASCII文字（NULL以外の任意のASCII文字）を選択可能。デフォルトでは、値なし
15

16. COPYコマンドのオプション例
詳細はこちら
オプション名 概要
NULL NULL値を表す文字列を設定。デフォルトは空の文字列（‘’）。E‘001’～E‘177’（NULL以外の任意のASCII文
字）の範囲の任意のASCII文字としてNULL値を指定可能。DELIMITERオプションとNULLオプションの両方に
同じ文字を適用不可
RECORD TERMINATOR データファイルのレコード値の終端を示す文字列を指定
SKIP records ロードファイルでスキップするレコードの数（整数）を指定。たとえば、SKIPオプションを使用し、テー
ブルヘッダー情報を省略可能
ENFORCELENGTH char、varchar、binary、およびvarbinaryのデータ長が、ロード対象テーブルの定義列の長さに適合しない
場合、COPYがデータ行を切り捨てるか拒否するかを設定。このオプションを指定すると、データの長さ
があふれた場合、行が拒否される
ABORT ON ERROR ソースデータが1行でもリジェクトされた場合にCOPYを停止するように指定。該当のCOPY文はロール
バックされ、データはロードされない
NO COMMIT COPYステートメントがデータのコピーを完了したときに自動的にトランザクションをコミットするのを
防ぎたい場合に指定。次の制約あり
• COPY文の最後に指定
• REJECTED DATA AS TABLEと組み合わせ不可
• CREATE EXTERNAL TABLE AS COPYはこのオプションを無視
16

17. COPY処理の処理実装案
共有ストレージ上で共通のファイルを参照することにより処理を高速化
COPY … ON ANY NODE
17
COPY t FROM
'/data/1.dat' ON ANY NODE,
'/data/2.dat' ON ANY NODE,
'/data/3.dat' ON ANY NODE,
'/data/4.dat' ON ANY NODE;
OR
'/data/*.dat' ON ANY NODE;
1.dat 2.dat
3.dat 4.dat
全てのノード間で最適に分散化
Node#1 Node#2 Node#3 Node#4
全てのノード
からアクセス
可能な共有
NFS マウント
に格納
1ファイルのサイズが大きい場
合、全ノード上で自動で並列
処理される

18. ソースデータ設計
18

19. 1. 文字コードがUTF-8であること
- 該当ファイルの文字コード確認例
- UTF-8である場合
- SJISである場合
- 文字コードをSJISからUTF-8への変更例
（sjis.data：SJISの元ファイル、utf8.data：UTF-8の変換後ファイル）
- データロード後に文字列を保持するカラムがUTF-8以
外のデータを保持しないかどうかの確認例
（行が返ってきた場合、UTF-8以外の値が含まれていることを示す。）
2. 可変長（CSV等）、固定長であること
- 可変長の場合
- 区切り文字として、E‘000’ ～ E‘177’のASCII文字である
必要あり
- ロード実行例
- 固定長の場合
- ロード時に、「FIXEDWIDTH」オプションを指定する必
要あり
- マルチバイト文字の場合、半角カナは3byteであるなど、
SJIS等とバイトのカウントが異なるため注意する必要
あり
- ロード実行例
19
$ file utf8.data
utf8.data: UTF-8 Unicode text
$ file sjis.data
sjis.data: Non-ISO extended-ASCII text, with
no line terminators
$ iconv -f SJIS -t utf-8 sjis.data >
utf8.data
=> SELECT カラム名 FROM テーブル名 WHERE ISUTF8(
カラム名) = FALSE;
=> COPY customer_dimension FROM
'/home/dbadmin/Customer_Dimension.tbl’
DELIMITER ',' DIRECT;
=> COPY fw FROM STDIN FIXEDWIDTH colsizes(2,2)
null AS 'N' NO COMMIT;
Enter data to be copied followed by a newline.
End with a backslash and a period on a line by
itself.
>> NN12
>> nnnn
>> .
ソースデータの要件

20. 制約違反チェック設計
20

21. データ挿入時の制約違反チェックの動作について
 Verticaは、デフォルトの設定の場合、プライマリーキー、ユニーク、チェック制約に違反し
ていても、データが挿入されるため、ソースデータに制約違反のデータが含まれる可能性が
ある場合は、下記の対応策を検討する必要あり
1. ロード直後に制約違反をチェックし、違反があればロールバック
- NO COMMITオプションでデータロードし、ANALYZE_CONSTRAINTSコマンドを使用して、制約違反の内容を確認
- 例については後述
2. プライマリーキー、ユニーク、チェック制約違反が発生した場合、データロードエラーとなるよう
に設定
- テーブルレベルで、該当カラムごとにENABLED/DISABLEDを設定
- データベースレベルで、下記パラメーターにて設定
• EnableNewPrimaryKeysByDefault
• EnableNewUniqueKeysByDefault
• EnableNewCheckConstraintsByDefault
- 例については後述
上記1と2の相違：
ANALYZE_CONSTRAINTSは違反行をすべて確認可能
であるが、制約違反については最大30件までの
表示であり、違反データが31件以上ある場合は
すべて確認できない。

22. 1. テーブルを作成しc1列にプライマリー
キー制約を設定する。
2. 1行データを挿入する。
3. 重複が発生するように、同じ値の行を
挿入する。
4. 2行挿入されていることが確認できる。
5. 表示形式を変更し、
ANALYZE_CONSTRAINTS関数を使って、重
複行を確認する。
6. ロールバックする。
=> CREATE TABLE t1(c1 INT);
=> ALTER TABLE t1 ADD CONSTRAINT pk_t1
PRIMARY KEY (c1);
WARNING 2623: Column "c1" definition
changed to NOT NULL
=> INSERT INTO t1 values (10);
=> INSERT INTO t1 values (10);
=> x
Expanded display is on.
=> SELECT ANALYZE_CONSTRAINTS('t1');
-[ RECORD 1 ]---+--------
Schema Name | public
Table Name | t1
Column Names | c1
Constraint Name | pk_t1
Constraint Type | PRIMARY
Column Values | ('10')
=> rollback;
ROLLBACK
=> SELECT ANALYZE_CONSTRAINTS('t1');
(No rows)
=> select * from t1;
c1
----
10
10
(2 rows)
ロード直後に制約違反をチェックし、違反があればロールバック
https://my.vertica.com/docs/latest/HTML/index.htm#Authoring/AdministratorsGuide/Constraints/DetectingConstraintViolationswithAnalyzeC.htm

23. 1. テーブルを作成し、c1列にプライマリー
キー制約を設定する。
2. 1行データを挿入する。
3. 重複が発生するように、同じ値の行を
挿入する。
4. 最初の1行のみ挿入されていることが確
認できる。
5. コミットする。
23
=> CREATE TABLE t1(c1 INT);
=> ALTER TABLE t1 ADD CONSTRAINT pk_t1
PRIMARY KEY (c1) ENABLED;
=> INSERT INTO t1 values (10);
=> INSERT INTO t1 values (10);
ERROR 6745: Duplicate key values: 'c1=10'
-- violates constraint 'public.t1.pk_t1'
=> select * from t1;
c1
----
10
(1 row)
エラー発生！
=> commit;
例：制約違反が発生した場合、データロードエラーとなるように設定

24. エラーファイル出力設計
24

25. エラーファイルの出力先指定
 COPY実行時に、REJECTED DATA AS TABLE句を指定し、リジェクトされたデータとエラーの内容
がVertica上のテーブルに保持されるように実装することが推奨
- 実行例については後述
※COPY LOCALの場合、非対応
 REJECTED DATA AS TABLE句を指定しない場合、COPYのエラーファイルについては、接続ノード
（イニシエーターノード）上に下記2つのファイルが作成される
- EXCEPTIONS：エラーの内容
- REJECTED DATA：リジェクトされたデータの内容
※デフォルトでは、カタログディレクトリ配下（<catalog directory>/CopyErrorLogs）に生成される
※指定ディレクトリ以下にエラーログを配置することも可能
- 例：
※COPY LOCALの場合、EXCEPTIONS句、REJECTED DATA句の指定が必須
25
=> COPY <table> '/home/user/data/*' EXCEPTIONS <path> REJECTED DATA <path>;

26. 1. loaderテーブルを作成する。
2. REJECTED DATA用のテーブルに、
loader_rejectsテーブル名を指定し、
COPYを実行する。
3. テーブルの内容を確認する。
4. loader_rejectsテーブルの内容を確認する。
=> CREATE TABLE loader(a INT);
CREATE TABLE
=> COPY loader FROM STDIN REJECTED DATA AS
TABLE loader_rejects;
Enter data to be copied followed by a
newline.
End with a backslash and a period on a line
by itself.
>> 1
>> 2
>> 3
>> a
>> .
=> SELECT * FROM loader;
x
---
1
2
3
(3 rows)
=> SELECT * FROM loader_rejects;
-[ RECORD 1 ]-------------+---------------------------
-----------------
node_name | v_vmart_node0001
file_name | STDIN
session_id | v_vmart_node0001.example.-
24016:0x3439
transaction_id | 45035996274080923
statement_id | 1
batch_number | 0
row_number | 4
rejected_data | a
rejected_data_orig_length | 1
rejected_reason | Invalid integer format 'a'
for column 1 (x)
例： REJECTED DATA AS TABLE句の指定

27. データロードのモニタリン
グ関連設計
27

28. データロード時の考慮点
 データロード時に考慮すべき点
1. データロード後に、どのソースファイルからロードされたデータであるのか確認する必要がある場
合、データロード時にCURRENT_LOAD_SOURCE関数を指定することにより、ロードテーブルにソース
ファイル名を保持させることが可能
- 例：
2. データロード後に、任意のロードについて履歴情報を確認する必要がありる場合、データロード時
にSTREAM NAMEパラメーターで任意のストリーム名を指定することが可能
- 例：
28
=> COPY t (c1, c2, c3 as CURRENT_LOAD_SOURCE()) FROM '/home/load_file_1' ON exampledb_node02,
'/home/load_file_2' ON exampledb_node03 DELIMITER ',';
=> COPY mytable FROM myfile DELIMITER '|' DIRECT STREAM NAME 'My stream name';

29. データロード後のモニタリング
 データロード後のモニタリング方法
1. Verticaの関数を使用
- GET_NUM_ACCEPTED_ROWS関数：正常にロードされた行数確認
- GET_NUM_REJECTED_ROWS関数：リジェクトされた行数確認
2. Verticaのシステムテーブルを参照
- LOAD_STREAMSテーブル
• ロードの進捗状況・進捗履歴などを確認したい場合に使用
• 主に、ACCEPTED_ROW_COUNT（正常ロード件数）、REJECTED_ROW_COUNT（リジェクト件数）、PARSE_COMPLETE_PERCENT
（パース進捗率）、SORT_COMPLETE_PERCENT（ソート進捗率）等を参照
- LOAD_SOURCESテーブル
• ロード時のソースファイルの詳細について確認したい場合に使用
29
=> select get_num_accepted_rows();
=> select get_num_rejected_rows();
=> select * from LOAD_STREAMS;
=> select * from LOAD_SOURCES;

30. 関連ページ
 Data Loading in Vertica Using COPY （英語）
- 上記記事の日本語版はVertica日本語サイトに近日中に公開予定
 Visual Guide to Data Loading with Vertica （英語）
 Converting Multicharacter Delimiters for Loading （英語）
 Bulk-Loading Data （英語）
 Trickle Loading Data （英語）
 COPY （英語）
30

31. Thank you
japan_vertica_info@microfocus.com