vertica, dwh, データウェアハウス

1. アプリケーション設計ガイド
データエクスポート設計
バージョン9.1
作成日：2018年7月5日
更新日：2018年XX月XX日
1

2. 更新履歴
版 日付 変更者 変更内容 備考
1.0 2018年7月5日 大林 加奈子 初版発行
※注意点
社外に提示する際は、本スライド(更新履歴)を削除し、PDF化
してお渡しください

3. Agenda
 データエクスポートに関するチェックポイント
 Verticaでのデータエクスポート処理の概要説明
 データエクスポート処理の種類と最適なデータエクスポート設計
 Verticaからフラットファイルでエクスポート
 VerticaからParquet形式でエクスポート
 VerticaからVerticaへエクスポート
 カタログ情報のエクスポート
 関連ページ

4. データエクスポートに関するチェックポイント
•YESの場合：次のチェックポイントへ
•NOの場合：「Verticaでのデータエクスポート処理の概要説明」へ
Verticaでのデータエクスポート処理
に関する概要について理解していま
すか？
•YESの場合：次のチェックポイントへ
•NOの場合：「データエクスポート処理の種類と最適なデータエクスポート設計」へ
データエクスポート処理の種類と最
適なデータエクスポート設計につい
て把握していますか？
•YESの場合：「Verticaからフラットファイルでエクスポート」へ
•NOの場合：次のチェックポイントへ
Verticaからフラットファイルにエク
スポートしますか？

5. データエクスポートに関するチェックポイント
• YESの場合：「VerticaからParquet形式でエクスポート」へ
• NOの場合：次のチェックポイントへ
VerticaからParquet形式でエクスポー
トしますか？
• YESの場合：「VerticaからVerticaへエクスポート」へ
• NOの場合：次のチェックポイントへ
Verticaから他のVerticaにエクスポー
トしますか？
• YESの場合：「カタログ情報のエクスポート」へ
• NOの場合：完了
データエクスポートではなくカタロ
グ情報をエクスポートしたいです
か？

6. Verticaでのデータエクス
ポート処理の概要説明

7. Verticaでのデータエクスポート処理の概要
 Verticaでは、以下3種類のエクスポート処理が可能
- Vertica ⇒ フラットファイル （⇒ 他のRDBMS）
- Vertica ⇒ Hadoop
- Vertica ⇒ Vertica（異なるVerticaクラスター間）

8. データエクスポート処理の種類
と最適なデータエクスポート設
計

9. データエクスポート処理の種類と最適なデータエクスポート設計
Vertica⇒フラットファイル（⇒他
のRDBMS）
Vertica⇒Hadoop
Vertica⇒Vertica（異なるVerticaク
ラスター間）
概要
vsqlを使ってフラットファイルで
出力し、他のRDBMSにデータロー
ド
Parquet形式でHadoopクラスターに
エクスポート
Vertica間でデータエクスポート・
インポート
ユースケース Vertica上にあるデータを他のデー
タベースにエクスポートしたい
Vertica上にあるデータをHadoop上
にエクスポートしたい
異なるVerticaクラスター間でデー
タをやりとりしたい
手順概要 1. vsqlで、データをフラット
ファイルにエクスポートする。
（例）
vsql -o <出力ファイル名> -c
<SQL文> -t
2. 他のRDBMSにツール等を使っ
てデータロードする。
1. vsqlで、Vertica上にあるデータ
をHadoop上にエクスポートす
る。
（例）
=> EXPORT TO
PARQUET(directory =
'hdfs:///user1/data') AS SELECT
* FROM public.T1;
1. vsqlで、VerticaクラスターAか
ら、別のVerticaクラスターB
へ接続する。
（例）
=> CONNECT TO VERTICA testdb
USER dbadmin PASSWORD '' ON
'VertTest01',5433;
2. クラスターAからクラスターB
へデータをエクスポートする。
（例）
=> EXPORT TO VERTICA
testdb.customer_dimension
FROM customer_dimension;
9

10. Verticaからフラットファイ
ルでエクスポート

11. Verticaからフラットファイルでエクスポート（1/2）
1. フィールドとレコードの区切りに要注意
- データに含まれているかどうかの判断が難しい場合は、通常文字列としては使用されない制御文字を使用することを検討
- 例えば、フィールドの区切り文字として「CTRL-A」、レコードの区切り文字として「CTRL-B」など
実行コマンド例：
- -F $'001'：フィールドセパレーターをASCIIの1 (CTRL-A)
- -R $‘002’：レコードセパレーターをASCIIの2 (CTRL-B)
- -AXtnqc とは：
- アラインされない出力モードを使用 (A)
- Vsql初期化ファイルでコマンドを実行しない (X)
- 列名のプリントを無効化 (t)
- コマンドラインの編集を無効化 (n)
- 静かに動作（ウェルカムメッセージなど非表示）(q)
- データをエクスポートするためのコマンド (-c <コマンド>)
- -o <myfile> 出力ファイルを指定
11
$ vsql -F $'001' -R $'002' -AXtnqc "select * from <mytable>" -o <myfile>

12. Verticaからフラットファイルでエクスポート（2/2）
2. NULLと空文字の扱いに注意
- 出力ファイルに2つのフィールド用の区切り文字が連続して表示されている場合、NULLなのか空文字
列なのか判断できないため、ファイル出力の際に考慮が必要
- NULLの場合、代替の文字列を入れるように指定可能
実行コマンド例：
→ NULLなのか空文字列なのかを判別可能に！
上記コマンドで出力したファイルをVertica上にロードする場合のコマンド例：
12
$ vsql -F $'001' -R $'002' -P null='MYNULL' -AXtnqc "select * from <table>"
-o <file>
=> copy <table> from '<file>' delimiter E'001' record terminator E'002' null
'MYNULL' ...

13. エクスポートの並列実行
 Hash関数を使うことにより、効率的にデータのエクスポートを並列実行で実施可能
4並列での実行コマンド例：
エクスポート時に圧縮もかける際の実行コマンド例：
$ for n in {0..3} ; do
{ vsql … -c "select * from <table> where hash(<column>) % 4 = ${n}" –o
file_${n} & }
done
$ for n in {0..3} ; do
{ vsql … -c "select * from <table> where ..." | gzip –c > file_${n}.dat & }
done

14. VerticaからParquet形式でエ
クスポート

15. ROSデータをHDFS上のParquetフォーマットファイルで出力
• Vertica Exportコマンドを使用して、HDFS上にParquetフォーマットファイルとして出力
• 例:
パラメーター:
• directory（出力ディレクトリ） – 有効なHDFSパス
• compression（圧縮形式） – Snappy（デフォルト）／Gzip／Uncompressed
• rowGroupSizeMB（出力ファイルの行グループサイズ） – 64 MB（デフォルト） >0 <=512 MB
15
=> EXPORT TO PARQUET(directory=‘directory’,
[, compression = 'compression-type' ]
[, rowGroupSizeMB = size ] )
[ OVER (over-clause ) ]
AS <select query>;

16. VerticaからVerticaへエクス
ポート

17. VerticaからVerticaへのデータエクスポート
 下記のような設定が異なるような環境間でもデータのインポート・エクスポートがVertica間
で可能
- ノードの数
- データベースのバージョン
- プロジェクションの数
- 列のデータ型
- セグメンテーション
- ユーザー
- DBパラメータ設定
ソース
クラスター
ターゲット
クラスター

18. VerticaからVerticaへのデータエクスポート手順概要
1. ソースクラスターからターゲットクラスターに接続する。
2. エクスポートコマンドを実行する。
3. 接続を終了する。
source=> CONNECT TO VERTICA VerticaDBTarget USER dbadmin PASSWORD '' ON
'10.100.0.88',5433;
source=> EXPORT TO VERTICA VerticaDBTarget.tgt_table (n,a,b) AS
SELECT n AS col1, a as col2 , b as col3 from src_table;
source=> DISCONNECT;
EXPORTコマンドが返ってこない場合、データがうまく転送できていない可能性があります。
Export_addressなどが適切に設定されているかどうかご確認ください。（参考ページ）
Import/Exportに関するベストプラクティス情報はこちら

19. カタログ情報のエクスポー
ト

20. カタログ情報のエクスポート
https://my.vertica.com/docs/latest/HTML/index.htm#Authoring/AdministratorsGuide/CopyExportData/UsingEXPORTFunctions.htm
 全カタログ情報を取得したい場合
 スキーマ単位で取得したい場合
 オブジェクト単位で取得したい場合
=> SELECT EXPORT_CATALOG(
'/home/dbadmin/ddl/sql_cat_design.sql','DESIGN' );
EXPORT_CATALOG
-------------------------------------
Catalog data exported successfully
(1 row)
=> SELECT EXPORT_OBJECTS(
'/home/dbadmin/ddl/sql_objects_schema.sql',’testschema’ );
EXPORT_CATALOG
-------------------------------------
Catalog data exported successfully
(1 row)
=> SELECT EXPORT_OBJECTS(
'/home/dbadmin/ddl/sql_objects_viewobject.sql','v1');
EXPORT_OBJECTS
-------------------------------------
Catalog data exported successfully
(1 row)

21. 関連ページ
 Understanding Vertica Import and Export （英語）
- 上記記事の日本語版はこちら
 Configuring the Network to Import and Export Data （英語）
- 上記記事の日本語版はVertica日本語サイトに近日中に公開予定
 Exporting Data Using vsql （英語）
 Exporting Data （英語）
 EXPORT TO PARQUET （英語）
 Exporting Data to Another Vertica Database （英語）
 EXPORT TO VERTICA （英語）
 Using EXPORT Functions （英語）
21

22. Thank you
japan_vertica_info@microfocus.com