Googleデータスタジオで12万件のデータをマージした＋データ上限

X (Twitter) Facebook Hatena Pinterest Email Pocket

Googleデータスタジオは、無料ながら強力なデータ視覚化ツールですよね。EXCELでCSV出力した大量データをマージしてみました。

こんにちは、データ大好きカグア！です。

本記事では、Googleデータスタジオで大量のCSVファイルをアップロードしてマージ（結合）してみましたので、クライアント様に許可頂けましたので知見をシェアします。

＞＞人気の「Googleデータスタジオ|タブロー」最新一覧はこちら。
Amazonで詳しく見る

操作画面をすぐに読む

大量データをマージした背景

毎月数万レコードのCSVが届く

毎月、大量のトランザクションが発生しながらも、専用データベースの導入などができずEXCELで管理している案件があります。

あるECサイトで毎月、数万件のCSVが発生
商品や価格、ジャンルなどフィールドは統一されている
EXCELでいちいちマージするのも面倒、でも予算はない

運営堂さんに相談したところ、Googleデータスタジオを提案されましたので、早速使ってみました。たしかに無料で使えます。

Googleデータスタジオとは

Googleデータスタジオの公式ヘルプはこちらです。公式ですと、2018年3月22日時点ではまだ、ベータなんですね。
＞＞データスタジオ（ベータ版）のヘルプ

公式の解説動画、英語です。
＞＞Report Like a Boss Using Google Data Studio – YouTube

CSVをマージした結論と注意点

先に結論を言っておきますと、私のケースだけかもしれませんが、以下の注意点が許せればGoogleデータスタジオはかなり使えるのではないかと思いました。

CSVアップロードするときにUTF-8に変換
CSVアップロードがよく失敗する（やり直せば大丈夫）
フィールド名が一致していればマージはホント楽
ピボットはEXCELとは操作感が異なるので慣れが必要
思った以上に軽快

複数ファイルを選択してアップロードできるのですが、私の環境ですとだいたい半分くらいが取り込みエラーになっていました。1つづつアップしても100%すんなりいく、というのは無かったです。5KB、2万件弱のCSVデータなのですけども。

ただ、アップロード後は思った以上に軽快でこれがWebサービスかと思うほどさくさく動作しました。ただ、ピボットはエクセルとは操作が異なるのでちょっと慣れは必要ですけど、アップさえしてしまえば躓くことはほぼ無いと思います。

いやあGoogleデータスタジオ、ほんと凄いですね。

それでは具体的な操作をご紹介します。

GoogleデータスタジオでCSVをマージ

EXCELでCSVを出力

EXCELで管理していますデータをCSV出力します。Windowsですと[F12]キーが「名前をつけて保存」のショートカットで便利です。

文字コードをUTF-8に変換

TERAPADなど文字コード置換できるテキストエディタで、EXCELが出力しますSHIFT-JISの文字コードを、Googleデータスタジオが認識できるUTF-8に変換し、上書き保存します。

Googleデータスタジオにアクセス

Googleデータスタジオにアクセスします。Googleにログインしていればすぐに以下の画面が表示されます。「新しいレポートの開始」で始めます。※データソースメニューから、まずは取り込みだけしてもいいかもしれません。
＞＞Googleデータスタジオ

新しいデータソースを作成

データソースとはGoogleデータスタジオで視覚化するための元データのことです。今回はCSVをここへアップロードします。画面右下に以下のボタンがあります。

CSVファイルをアップロード

画面遷移しましたら、画面左にあります「ファイルのアップロード」を選びます。ここからCSVファイルをGoogleデータスタジオで送信できます。アップロードしデータセットを作成します。

CSVファイルはドラッグアンドドロップでも、ダイアログからでもアップロードできます。同時に複数送信することも対応しています。なお操作途中で、Googleの認証画面が出ますので許可しておきます。

CSVファイルをマージ

マージするには、同じ画面で「ファイルを追加」としますと、そのデータセットにCSVファイルなどのデータを、マージして追加してくれます。

アップロードの失敗

Googleデータスタジオはベータ版ですから、アップロードで失敗してエラーになっても怒らないようにしましょう。たいていは再アップロードすれば大丈夫です。

ただ、文字コードをUTF-8にし忘れてたとか、フィールド名が統一されてなかったとかでエラーになることもあります。「エラー」の表示をクリックし、内容を確認して対応しましょう。

ちなみに私は、ファイルが複数あっても、面倒ですが1回1回アップしています。そのほうがエラーになる確率は少なかったです。同じ画面で「ファイルの追加」としますと、同じデータセットにCSVをマージ（追加）できます。

マージし終えたら接続

CSVファイルをアップロードし終えましたら、画面右上の「接続」をクリックします。接続はすぐに終わります。

フィールドの確認後レポートに追加

接続しましたらレポート作成する前に、フィールド（データ項目）の確認画面が表示されます。とくに問題がなければ画面右上の「レポートに追加」をクリックします。

グラフ化も自動で軸を認識

レポート作成画面に移りましたら、たとえば「折れ線グラフ」を選び、画面上をドラッグしますと、自動で認識して、日付などのフィールドは横軸になるなど、オートで配置されます。

データセットからレポート画面への遷移もスムーズですし、レポート画面でディメンション（項目）を切り替えても、データ反映は本当に速いです。トータルで12万件くらいあるのですが、無料ツールでこんなにも軽快というのは感動します。

データセット完成後の運用と注意点

以後のCSVデータのマージ方法

一旦レポートを作ったら、あとは追加したいCSVデータが発生した時点で、データセットにマージすればOKです。たた2018年3月22日時点での操作はこんな感じなので、迷わないように注意。

Googleデータスタジオにログイン
データソースを選び、データセットをクリック
「コネクションを編集」をクリック
「ファイルを追加」をクリックでCSVをアップロード

いやほんと簡単ですね。これでCSVデータが発生し次第、都度データセットに追加マージして、ためておけば安心です。

Googleデータスタジオのデータ上限

なお、公式ヘルプによりますと、Googleデータスタジオのデータ制限やデータセットの上限は以下のとおりですので、注意しましょう。大量データを格納した後のことも考えたほうが良いとは思います。※2018年3月22日時点

データセット上限1000個（1ユーザーあたり）
容量合計2GB（1ユーザーあたり）
アップロード数上限1日100回（データセットあたり）
ファイルサイズ上限100MB（データセットあたり）

＞＞ファイルのアップロードについて – データスタジオ（ベータ版）のヘルプ

データはGoogleクラウドストレージに格納されますので、その後の大規模運用なども検討するときは以下のドキュメントを参考にすると良いと思います。
＞＞Cloud Storage ドキュメント | Cloud Storage | Google Cloud

お疲れ様でした。

Googleデータスタジオによるレポート作成の教科書 ~成果を上げるWeb解析レポートを徹底解説~ | 佐々木秀憲, 稲葉修久, 小田切紳, 藤岡浩志, 井水大輔, 平野泰章, 小田則子, 窪田望, 古橋香緒里, 小川卓, 江尻俊章

Amazonで詳しく見る

まとめ

Googleデータスタジオは無料ながら、大量データをビジュアル化してくれる本当に便利なツールです。アップロードなど安定してくれるともっと使いたくなる感じですね。

大量データをエクセルでマージするのが辛いなーと思ったら使ってみようと思いました。あとは、グラフやテンプレートなど、もっとビジュアルパターンが定期的に増えていってくれると嬉しい。でもなかなか無償版では難しいのかな。

今後もGoogleデータスタジオに期待です。

・　・　・　・　・

＞＞安っ！アマゾンで半額以下になっている食品タイムセール
セール特設ページを見る

↓↓↓無料のニュースレターを配信中です

CSV

Post Views: 158