誰も書かないビッグデータで浮かび上がる課題点

これまでビッグデータやIoTについて取り上げ、事例も挙げながらエッセンスを説明して来ましたが、今号では裏側の事情も書いてみたいと思います。

雑誌や書籍では、これらのいいことや明るい未来ばかりが書かれていますが、その裏側の課題点、苦労について書かれたものは、ほとんど見かけたことがありません。しかし課題を理解し早期に対策を立てていかないと、ほとんどの導入企業で失敗することになります。実際、この手のソリューションは1990年から言われ始めていますが、真の意味で成功している企業は実のところあまり見たことがありません。

1990年代には「SIS」(Strategic Information System)という言葉が流行りました。その直後に「CIM」(Customer Information Management)という言葉も流行りました。1995年頃からは「データウェアハウス」「データマート」という言葉で再び盛り上がりました。21世紀に入り「BI」(Business Intelligence)という言葉で人気が再浮上し、最近では「ビッグデータ」や「IoT」と並んで「BA」(Business Analytics)という言葉も注目されています。

言葉は違えど、どれも基幹業務で蓄積されたデータを業務の効率向上目的で扱うだけでなく、情報戦略の一環として「攻め」のツールとして活用していきましょうということでは変わらない位置づけとして存在しています。データベースのテクノロジーが進化して、高速化がギアチェンジしたタイミングで、いつもこのソリューションが再燃して来るようです。

逆説的に言えば、メディアで言っているほどはなぜ成功企業が増えずに自然消滅していきながら、再び何度でも注目を集めるのか、そこにある「課題」に目を向けることで、失敗しない「ビッグデータ」「IoT」の導入が見えて来ます。

さて溜まったデータをそのまま埋もれさせずに分析に活用すれば、いいことが増えるのは自明の理です。顧客の「足跡」が残っている貴重な宝の山です。ところがなぜそんなに普及しないのでしょうか？

そこには溜まったデータの質的な問題があるからなのです。分析に足りる量は溜まっても、信頼に値する質が足りていないことが起因になります。

これをさらに逆説的に捉えるならば、「ビッグデータ」を導入することで置き去りになっていた社内のデータ整備のきっかけになり、データの質の向上、業務改善のきっかけに活用出来る側面もあると言えます。引っ越しして、いい家に移り住もうとした時に、まず家の中のぐちゃぐちゃした荷物が整理されるきっかけになるのと似た感覚でしょうか。ほとんどの企業では家の整理で力を使い果たしてしまい、引っ越しする前に断念してしまうのです。

では「信頼に値する質が足りていない」とは具体的にどんなことが起こっているのでしょうか？

2つの側面があります。
1つは時間の経過と共に継ぎ接ぎが重なり整合性が取れなくなるケースと、もう1つは人間の怠け心です。

社内の情報システムは、まるで生き物のように進化して成長していきます。
しかも情報システム部でなくてもシステムを構築出来る時代となって来ていますので、あちこちでいろいろな人がシステムを作っていきます。それぞれ別個に作ったものを後付けで連携させるというのは日常茶飯事となります。継ぎ接ぎに継ぎ接ぎが重なったシステムでは、当然データ構造や語彙の統一性が失われていきます。
そんな統一性のない情報を元に分析しようとするわけですから、精度の低い分析となってもしようがないわけです。

簡単なところから不整合は頻発しています。例えば日付。
あるシステムでは和暦表示のものが、あるシステムでは西暦表示だったりします。また年月日を別々のフィールドにしているシステムもあれば、1つのフィールドとしてyyyymmddと表記しているものもあります。システムによってはmm/dd/yyyyと表記しているものもあれば、dd/mm/yyyyと表記しているものもあります。

住所も同様に、都道府県やアパート名を分けているものもあれば、1つのフィールドにしているものもあります。数字も百万円単位で入れているものもあれば、1円単位で入れているものもあり、さらにはドル建てのものもあったり。同じ意味でも表現が異なるために、各地に溜まったデータを総合的に分析しようとしてもすぐには始められないということが殆どのケースとなります。

さらに悲しいことは、こういった一般的なフィールドならいざしらず、社内で使っている専用のコードであっても部署によってコード体系が異なっていて連携させることが容易でないケースも見られることです。

データ分析に必要とされる作業量が1だとすると、作業のためにデータを整備するために必要な作業量が9とも言われています。

このことから、ほとんどの企業でデータ分析を始める前に挫折してしまうか、もしくは経営者にやると言った手前もあるので無理やり効果を見せるために、連携出来る限られたデータだけを集めて無理やりデータ分析をしてしまうのが関の山となるわけです。

2つ目は、人間の入力の問題です。
前号でも、コンビニで店員が買いに来たお客様の商品をレジに入力する際に、併せて年齢と性別を入力することがある話をしましたが、残念ながら店員にとっては面倒くさい作業なので、指が一番届きやすいボタンばかりを押す傾向が出てしまうようです。それもそのはず。お客様の情報を正しく入れようがいい加減に入れようが時給は変わりません。逆に正しく入れようとして見極めに時間をかけてしまう方がレジを混ませるきっかけを作ってしまい時給を下げかねません。その結果、「40代男性」ばかりが買いに来るコンビニが出来上がってしまうのです。(笑)

アルバイトでなく正社員でも同じことです。
動機づけよりも義務付けが先に来ていると、営業ですら適当に顧客情報を入れます。いい加減に入れた情報を経営者は分析して経営戦略に繋げているわけです。

こんな事例も実際にありました。

ある会社ではハードウェアを主力に売っていました。
時代の流れから「箱売り」に限界を感じたこの会社は利益幅の高いソフトウェアに注力する戦略を立てました。その会社でソフトウェアの売り上げ分析をしたところ、あるソフトウェアがよく売れていることがわかり、営業にそのソフトをもっと売るように教育を始めたのですが一向に数字な伸びなかったのです。

これはなぜだかわかりますでしょうか？

そのソフトウェアが売れていたのは、別に市場が伸びていたからとか、ソリューションに魅力があったからではなかったのです。営業がハードとセットで売りやすいそのソフトウェアであって、利益水増しに活用しやすいソフトウェアだったからなのです。なのでハードウェアの売り上げ低下と共にそのソフトも売れなくなっていきました。こういった情報が、システムには正確に入っていかないのです。営業はもちろん「ついでに売りました！」とは上に報告しません。それなりの理由を付けて、そのソフトウェアによるソリューションが認められたから売れたと売り上げデータベースには入力します。

あまり誰も書かないことですが、「IoT」が注目を集めているもう1つの理由が、「機械は嘘をつかない」からなのです。

これもあまり誰も書かないことですが、「ビッグデータ」を分析する時の成功パターンとして言えることは、新規システムに並行して活用を考えることです。もちろんスクラッチ＆ビルドの時でも結構です。既存のシステムで応用したいと思った時は、構築にかけるコストと時間の10倍をデータ整備に考えておいた方が無難です。

溜まったデータを分析する際に、冒頭でも書きましたが「BI」という手法と、最近では「BA」という手法が注目されていますが、この違いがわからずに質問して来る人がとても多いです。次号はその辺についても書こうと思います。