HOME技術コラム大量のデータを迅速に整理・見える化するには?~Alteryxを活用したデータ処理のご紹介~

コラム:MI-DXソリューション

大量のデータを迅速に整理・見える化するには?
~Alteryxを活用したデータ処理のご紹介~

科学エンジニアリング第1部 阿部 淳
科学システム開発部 森 一樹

[2023/07/31]

実験やシミュレーションで得られたデータを整理して、グラフ化するツールとして皆さんは何を使っていますか?おそらく大多数の方はExcelでないでしょうか?グラフ化ツールといえばやはりExcelですよね。私もその大多数の一人です。複数のデータがあればファイルで分けたり、シートで分けたりして、まずはそれぞれのデータでグラフを作成しますね。そのあと、ケース間の比較を行う場合はそれぞれのグラフを合体させます。おそらくそのような作業を何年も何十年も使い続けています。ちょっと複雑な作業になってくるとVBAマクロ(エクセル上で使用可能なVisual Basic言語をベースとしたプログラム)を活用することで、ループや条件分岐を使ったり、外部ファイルを読み込んだり、標準機能では通常できない作業を行うことができます。しかし、これはプログラムあるあるなのですが、プログラムは基本的にそれを作成した本人しか使いこなせない場合が多いです。最悪の場合、数年後には本人でさえ内容をすっかり忘れてしまい、(自分自身が作成したことさえ忘れる場合もある)いざデータ処理を行おうと思ったときにうまく動かないことが多々あります。

さらに処理しなければならないデータが膨大な場合、果たしてExcelで処理できるのでしょうか?実はこれは実際に私が直面した状況でして、私の場合はこの先の前途多難な作業を想像した時点で心が折れてしまいました。確かに処理用のVBAプログラムは自分自身が作成しましたが、増築の増築を重ねた老舗の迷路旅館のようなプログラムなので完全に内容を忘れてしまっていました。これを読み解き、膨大な数のデータをエラー無く読み込めるように何とか修正したとしても、その先に待ち受ける膨大な量のグラフ作成を考えると(この部分をVBAで何とか自動化したとしても)とても先に進む気力はほとんど残っていませんでした。今にして思うとExcelで処理を行う限界を感じてしまったということだったと思います。

それではより効率的な処理方法があるのか?その回答となる提案の1つが以下のサイトとなります。

測定データの自動処理、データベース化、可視化分析 | 伊藤忠テクノソリューションズ株式会社 (ctc-mi-solution.com)

データ整理としてはAlteryxを提案してします。Alteryxとは米国Alteryx社が開発・販売しているデータ分析ツールです。この提案の中では、たくさんのデータを自動的に読み込んで可視化しやすいデータ形式に加工する部分をAlteryxで行っています。そのほか、見える化の部分を可視化ツールTableau、データの保存・データベース化はMicrosoft Azureを用いて行っていますが、これらについてはまた別の機会に紹介できればと思っております。

Alteryxは膨大な同一フォーマットのデータを一気に読み込むことができる非常に強力なツールです。確かに読み込むためのプログラミングが必要ですが、プログラム言語を一字一句間違わずに打ち込むような方法のではなく、様々な機能を持つアイコンを並べて、データの流れを作成するような方法です。各機能のアイコンの使い方を覚えてしまえば、誰でも簡単にデータ処理の自動化を行うことができます。

図 Alteryxの操作画面

図 Alteryxの操作画面

また、最近では予測や機械学習の機能も付属しています(これについてもまた別の機会に紹介できればと思います)。

このAlteryxを使用することで先に述べた多数のデータを数秒程度でデータベースとしてとりまめることができ、次のステップではこのデータベースを元にTableauやPower BIといった可視化ツールで様々なグラフを簡単に作成・表示することができるようになります。

図 Alteryxの操作画面

図 Tableauを活用したグラフ化の例