乱雑なデータによるコスト増加: データ準備の一般的な問題の解決方法

問題: データ準備には組織のデータに関する詳細な知識が必要

データ準備の前に、データの場所や構造、構成だけでなく、フィールド定義などの細かな詳細情報についても把握しておくことが不可欠です。このプロセスは「データディスカバリ」とも呼ばれ、データ準備の基本的な要素の 1 つです。どこに向かうのかという基本的なことを把握せずに長旅に出発することはありません。同じことがデータ準備にも当てはまります。

セルフサービス BI の登場によって、ビジネスユーザーでも簡単にデータディスカバリができるようになり、データセットの既存の構造や内容について深い知識が得られるようになっています。しかし、情報がサイロ化されているため、ユーザーは多くの場合、どのようなデータがどこにあり、どのように定義されているのかという、組織全体のデータの状況をあまり把握していません。データ定義の理解が十分でないことが分析の妨げになることもあります。ひどい場合には、会社全体の分析結果が不正確になることもあります。

セルフサービス型のビジュアルデータ準備ツールを使用することで、アナリストはデータを深く掘り下げて、構造を理解し、複数の表の間のリレーションシップを確認できます。データの概要を理解できれば、クリーニングが必要な想定外の値も簡単に特定できます。このテクノロジーによってデータが明確になりますが、それでも、フィールド定義などの詳細を理解するには、社内の他の人のサポートが必要になります。

データディクショナリーの作成: 全社的にデータ定義を標準化する 1 つの方法は、データディクショナリーを作成することです。データディクショナリーは、それぞれのビジネスアプリケーションで用語がどのように使用されているのかをアナリストが理解するのに役立ち、分析に関連しているフィールドと完全にシステム用のフィールドを区別できます。エネルギー企業でプロジェクトエンジニアをしている Brian Davis 氏は、データディクショナリーは「かけがえのないもの」だと言います。

継続的な反復とイノベーション: データディクショナリーの作成は簡単な作業ではありません。データスチュワードや特定分野の専門家は、作業を継続的に繰り返し、要件の変更に応じて確認し直す必要があります。² ディクショナリーの内容が古くなると、組織のデータ戦略を阻害するおそれがあります。連絡方法や責任者を最初からプロセスに組み込み、グロッサリーの保管場所、および更新や改善を行う頻度を決めておく必要があります。

問題: 何が「クリーンなデータ」であるかは、見方によって異なる

「最適な構造のデータ」とは何かについては、チームごとに要件や優先事項が異なります。たとえば、データベース管理者やデータエンジニアはデータの保存方法やアクセス方法を優先し、列を追加する場合は人間による使いやすさではなくデータベースのみでの利用を重視します。エンジニアが分析のためのデータウェアハウスを構築する場合は、多くの質問の答えが得られる重要なビジネス指標を優先します。データアナリストが必要とする情報がデータセットに含まれていない場合、集計を調整するか外部のソースを取り込む必要があります。それにより、サイロ化や不正確なデータが生じる可能性があります。

SCAN Health Plan 社の Tableau 開発担当である Cathy Bridges 氏は、他のチームが既にクリーニングを行ったデータセットでも、アナリストが改めて更新する必要に迫られることが多いと言います。「列を追加するのは、時間と手間のかかる面倒なプロセスです。たとえば、合計と内訳の比較が必要な場合、データソースを複製する必要がありますが、これはかなり面倒な処理になることがあります」

セルフサービスのデータ準備が可能になれば、アナリストは自分で分析に適した形にデータセットを変換できます。それにより、アドホック分析を迅速に行えるようになり、質問が浮かんだらすぐ答えを見つけることができます。また、IT 部門にとっても、予期しない質問が発生するたびにデータを再構築しなければならないという負担が軽減されます。さらに、作成されたモデルを他のアナリストも再利用できるので、二度手間を減らすためにも役立ちます。広い範囲で有益なデータセットであれば、将来的に標準のセットに組み込むことができます。