複数ファイルのデータチェックを自動化する方法

データチェックはEAIの得意分野です。今回は、EAI製品を使って複数ファイルのデータチェックを自動化する方法をご紹介します。

システムから出力されたファイルや、取引先から頂いたファイルのデータをチェックする際、どうしても目視によるチェックをしなければならない場面が存在します。例えば、システムにデータの整合性を保ちつつ出力する機能が無いことや、取引先があまり精度の高くないファイルを送付してくるケースなどが挙げられます。このようなチェックが必要となるファイルを月末の〆処理として、毎月大量に目視でチェックするような業務はありませんか？

目視によるチェックでは、大量のファイルをチェックせざるを得ない状況ですと、時間が大幅に掛ってしまいます。そして、人が介在するため、作業の抜け漏れが発生しやすく、修正による手戻りで想定以上の時間が掛ってしまうリスクがあります。

しかし、EAI製品を活用してデータチェックをすれば、面倒なデータチェックを迅速かつ正確に、様々な条件でチェックしながら定期的に実施することが可能です。

今回はEAI製品の例として「DataSpider」を使用し複数ファイルのデータチェックを行う処理を開発してみます。

大まかな開発の流れは下記の通りです。

①チェック対象ファイル名の一覧取得
　（特定ディレクトリ配下のファイル名を一覧で取得）
↓
②チェック対象ファイルの読み取り
　（取得したファイルを1件ずつ読み取り）
↓
③複数条件でのデータチェック
　（フィールドの値を列ごとに設定した条件でチェック）
↓
④エラーレコードの書き込み
　（エラーとして認識したレコードをそのレコードを含むファイル名と共にCSV出力）

EAI製品を使うと、特定のディレクトリ配下のファイル名一覧をまとめて取得することが可能です。
ディレクトリのパスを指定するだけで簡単に取得することができます。

取得したファイル一覧より１ファイルずつ読み取りを行います。
EAI製品では、読み取りファイル名を変数に格納することで動的に読み取り対象を変えることができるので、毎回ファイルパスをファイル名ごとに変更する必要はありません。

インプットファイルを任意の条件でデータチェックします。
EAI製品では、様々なデータチェック条件を組むことが出来、データが指定の型か否か、正規表現にマッチしているかなどを条件として指定することが出来ます。

エラーになったレコードのみをCSVファイルへ出力します。
書き込み時にどのファイルにエラーレコードが存在していたかわかるようにファイル名を出力項目に加えます。

以上で処理は完成ですので、実行してみましょう。

今回は例として、「日次の注文データをチェックする」という想定で処理を実行します。3日分のCSVファイルを用意し、データチェックしてみます。

CSVファイルには「商品名」「個数」「登録日付」の3項目があります。この3項目について、下記の条件でデータチェックを実施します。

条件を設定し、実行した結果は下記の通りです。

項目の記載漏れや、正規表現にマッチしなかったレコードがまとめて出力されました。

データチェックのような、データの整合性を比較する、確認するといった作業はEAI製品の得意分野です。
人が作業すると、どうしても時間が掛ったりミスが発生しがちです。そのような作業はEAI製品に任せてしまい、迅速かつ正確に業務を遂行する仕組み作りをしてみてはいかがでしょうか。