トップ > テクニカルディスカッション > Magic xpa 3.x ( 前のトピック | 次のトピック )

テキストファイルからの取り込みを高速化するとしたら・・・

このフォーラムに新しいトピックを立てることはできません
このフォーラムではゲスト投稿が禁止されています

ツリー構造順で表示投稿の古いものから

Re: テキストファイルからの取り込みを高速化するとしたら・・・

msg# 1.8

前の投稿 - 次の投稿 | 親投稿 - 子投稿なし | 投稿日時 2017-6-19 10:01

nkmt

投稿数: 1668

fjksudou様、それはとてもいいですね。
教えてくださり有難うございました。
件数少ない場合は、それも用いたいと思います。

今回は、1000万件といったCSVを
ユーザー様が取り込む案件でしたので
その方法は適さないでしょうね。

投票数:0 平均点:0.00

Re: テキストファイルからの取り込みを高速化するとしたら・・・

msg# 1.7.1

前の投稿 - 次の投稿 | 親投稿 - 子投稿なし | 投稿日時 2017-6-19 9:50

fjksudou

投稿数: 180

外部ツールで、よくEXCELとSQL Server Management Studioを使用します。

テーブルのレイアウトに合わせてエクセルを作ります。

追加したいテーブルのプロパティで右クリックして、上位２００行の編集をクリックします。
表示されたウインドウの最下部に移動すると追加できる行ができます。

そこに、エクセルのデータをコピーして、貼り付けします。

一回こっきりのマスタ作成等はこれで簡単にできますよ。

投票数:0 平均点:0.00

Re: テキストファイルからの取り込みを高速化するとしたら・・・

msg# 1.7

前の投稿 - 次の投稿 | 親投稿 - 子投稿.1 | 投稿日時 2017-6-18 20:46

nkmt

投稿数: 1668

年に数回しか使わないので外部ツールもいいのでしょうね。
でもどんなツールがあるのか知らないですけど。

投票数:0 平均点:0.00

Re: テキストファイルからの取り込みを高速化するとしたら・・・

msg# 1.6

前の投稿 - 次の投稿 | 親投稿 - 子投稿なし | 投稿日時 2017-6-18 17:56

Tanda

投稿数: 2151

1,000万件のレコード入力を定時処理で行うのであればMagicを使う
必要があるかと思いますが、マスターテーブルとかの作成で1回
こっきりの処理であれば外部ツールを使ったほうが楽そうですね。

投票数:0 平均点:0.00

Re: テキストファイルからの取り込みを高速化するとしたら・・・

msg# 1.5

前の投稿 - 次の投稿 | 親投稿 - 子投稿なし | 投稿日時 2017-6-14 16:57

mizuno

投稿数: 58

nkmt様

その方法でOKです。

投票数:1 平均点:10.00

Re: テキストファイルからの取り込みを高速化するとしたら・・・

msg# 1.4

前の投稿 - 次の投稿 | 親投稿 - 子投稿なし | 投稿日時 2017-6-14 16:40

nkmt

投稿数: 1668

mizuno様、お世話になっております。
アドバイスありがとうございます。

今回の場合、途中途中でのコミット差支えないです。

SQLコマンド　INSERT文を試す前に
グループ毎トランザクションを試してみます。

これは　COUNTER(0)　MOD　10000　となった時にでも
疑似グルーピング用の変数をカウントアップなどして
それをグルーピング項目に指定すればいいのでしょうね。

投票数:0 平均点:0.00

Re: テキストファイルからの取り込みを高速化するとしたら・・・

msg# 1.3

前の投稿 - 次の投稿 | 親投稿 - 子投稿なし | 投稿日時 2017-6-14 16:33

mizuno

投稿数: 58

別の投稿から1000万ほどのレコード書込みということだと思います。

Insert命令というのは「SQLコマンド」でということでしょうか。
uniPaaS以前ではあまり効果がありませんでした。

全件でトランザクションかけているのであれば、これを割ってあげれば早くなります。
（トランザクションの開始を「タスク前の前」に設定しているのであれば「グループ」に変更して(例えば)1万件毎にコミットする）

処理途中でコミットしても問題ないということであればですが。

投票数:0 平均点:0.00