転ばぬ先のプロファイリング

システム間でデータのやり取りをしたり、新システムを作るときに旧システムから新システムにデータを渡したり、とITプロジェクトの中でデータ連携をする機会は多々あると思います。
その時に、「いざデータ連携しようとするとうまくデータが入らなかった」といった経験はありませんか?

あるお客様では、顧客テーブルにある「顧客属性」カラムを使って、顧客属性=1であればテーブルAに、顧客属性=2であればテーブルBにデータを送る、という処理を行おうとしましたが、実際にデータ連携を行ってみるとうまく入らないデータが多くありました。原因を調べてみると、「顧客属性」カラムには、1と2以外にも3が入っていることや、データが入っていない(null値)ものがあることが分かりました。

データ連携を効率的に行う上で、事前にデータの現状を把握しておくことは必要不可欠です。

このような調査を簡単に行うためのツールが「プロファイリング」です。インフォマティカのプロファイリングでは、データベース、SAPやSalesforceなどのアプリケーション、フラットファイルからデータを読み込み、分析して、Webブラウザで分析結果を確認することができます。

 

profilling
実際のプロファイリング画面

 

具体的には下記のようなことが分析できます。

  • データの値と、値ごとのレコード数
  • 値のパターン(データフォーマット)
  • 各カラムの一意性
  • 「ヘッダと明細」のような親子関係のあるテーブルの整合性(親のない子レコードがあるか?)
  • メールアドレスやクレジットカード番号等が入っているテーブル及びカラムを検出
  • どのカラムを使えば主キーになるか?(複合主キーを値から検出)

先ほどのお客様もこれを使えば、データ連携を行う前に、1と2以外の数字が入ってることやnull値を確認することができるため、トラブルを未然に防ぎ、工数を抑えることができます。

インフォマティカ・ジャパンでは、このプロファイリングをお客様の実データを使ってご体験いただける「データ品質アセスメントサービス(無償)」を実施しています。過去に数十社のお客様に実施してきましたが、データに問題がなかったお客様は「一社も」ありませんでした。自社のデータの状態を把握したい方、システム刷新を控えてデータ連携に頭を悩ませていらっしゃる方、ぜひこちらまでご連絡ください。