*

Googleデータスタジオで12万件のデータをマージした+データ上限

公開日: : 最終更新日:2018/05/09 ツール , , ,


LINE facebook twitter g+
B! pocket Evernote 楽天


【Amazonファッション】メンズ80%オフ商品を見る!
セール商品を見る

CSVマージ
Googleデータスタジオは、無料ながら強力なデータ視覚化ツールですよね。EXCELでCSV出力した大量データをマージしてみました。

こんにちは、データ大好きカグア!です。

本記事では、Googleデータスタジオで大量のCSVファイルをアップロードしてマージ(結合)してみましたので、クライアント様に許可頂けましたので知見をシェアします。

>>人気の「Googleデータスタジオ|タブロー」最新一覧はこちら。
Amazonで詳しく見る

操作画面をすぐに読む

関連記事
>>Googleデータスタジオの使い方 #GoogleDataStudio
>>Google Data Studio 利用可能ディメンション&指標一覧541個
>>Googleタグマネージャに予め設定しておくと便利な変数12本
>>データ分析の入門書にオススメな本11冊

大量データをマージした背景

毎月数万レコードのCSVが届く

毎月、大量のトランザクションが発生しながらも、専用データベースの導入などができずEXCELで管理している案件があります。
大量のCSV

  • あるECサイトで毎月、数万件のCSVが発生
  • 商品や価格、ジャンルなどフィールドは統一されている
  • EXCELでいちいちマージするのも面倒、でも予算はない

運営堂さんに相談したところ、Googleデータスタジオを提案されましたので、早速使ってみました。たしかに無料で使えます。

Googleデータスタジオとは

Googleデータスタジオの公式ヘルプはこちらです。公式ですと、2018年3月22日時点ではまだ、ベータなんですね。
>>データスタジオ(ベータ版)のヘルプ

公式の解説動画、英語です。
>>Report Like a Boss Using Google Data Studio – YouTube

CSVをマージした結論と注意点

先に結論を言っておきますと、私のケースだけかもしれませんが、以下の注意点が許せればGoogleデータスタジオはかなり使えるのではないかと思いました。

  • CSVアップロードするときにUTF-8に変換
  • CSVアップロードがよく失敗する(やり直せば大丈夫)
  • フィールド名が一致していればマージはホント楽
  • ピボットはEXCELとは操作感が異なるので慣れが必要
  • 思った以上に軽快

複数ファイルを選択してアップロードできるのですが、私の環境ですとだいたい半分くらいが取り込みエラーになっていました。1つづつアップしても100%すんなりいく、というのは無かったです。5KB、2万件弱のCSVデータなのですけども。

ただ、アップロード後は思った以上に軽快でこれがWebサービスかと思うほどさくさく動作しました。ただ、ピボットはエクセルとは操作が異なるのでちょっと慣れは必要ですけど、アップさえしてしまえば躓くことはほぼ無いと思います。

いやあGoogleデータスタジオ、ほんと凄いですね。

それでは具体的な操作をご紹介します。

GoogleデータスタジオでCSVをマージ

EXCELでCSVを出力

EXCELで管理していますデータをCSV出力します。Windowsですと[F12]キーが「名前をつけて保存」のショートカットで便利です。
エクセルでCSV保存

文字コードをUTF-8に変換

TERAPADなど文字コード置換できるテキストエディタで、EXCELが出力しますSHIFT-JISの文字コードを、Googleデータスタジオが認識できるUTF-8に変換し、上書き保存します。
utf8に変換

Googleデータスタジオにアクセス

Googleデータスタジオにアクセスします。Googleにログインしていればすぐに以下の画面が表示されます。「新しいレポートの開始」で始めます。※データソースメニューから、まずは取り込みだけしてもいいかもしれません。
>>Googleデータスタジオ
新規レポート

新しいデータソースを作成

データソースとはGoogleデータスタジオで視覚化するための元データのことです。今回はCSVをここへアップロードします。画面右下に以下のボタンがあります。
新しいデータソースを作成

CSVファイルをアップロード

画面遷移しましたら、画面左にあります「ファイルのアップロード」を選びます。ここからCSVファイルをGoogleデータスタジオで送信できます。アップロードしデータセットを作成します。
ファイルのアップロード

CSVファイルはドラッグアンドドロップでも、ダイアログからでもアップロードできます。同時に複数送信することも対応しています。なお操作途中で、Googleの認証画面が出ますので許可しておきます。

CSVファイルをマージ

マージするには、同じ画面で「ファイルを追加」としますと、そのデータセットにCSVファイルなどのデータを、マージして追加してくれます。

アップロードの失敗

Googleデータスタジオはベータ版ですから、アップロードで失敗してエラーになっても怒らないようにしましょう。たいていは再アップロードすれば大丈夫です。
アップロード失敗

ただ、文字コードをUTF-8にし忘れてたとか、フィールド名が統一されてなかったとかでエラーになることもあります。「エラー」の表示をクリックし、内容を確認して対応しましょう。

ちなみに私は、ファイルが複数あっても、面倒ですが1回1回アップしています。そのほうがエラーになる確率は少なかったです。同じ画面で「ファイルの追加」としますと、同じデータセットにCSVをマージ(追加)できます。

マージし終えたら接続

CSVファイルをアップロードし終えましたら、画面右上の「接続」をクリックします。接続はすぐに終わります。
アップロード済み

フィールドの確認後レポートに追加

接続しましたらレポート作成する前に、フィールド(データ項目)の確認画面が表示されます。とくに問題がなければ画面右上の「レポートに追加」をクリックします。
レポートに追加

グラフ化も自動で軸を認識

レポート作成画面に移りましたら、たとえば「折れ線グラフ」を選び、画面上をドラッグしますと、自動で認識して、日付などのフィールドは横軸になるなど、オートで配置されます。
グラフ完成 Googleデータスタジオ

データセットからレポート画面への遷移もスムーズですし、レポート画面でディメンション(項目)を切り替えても、データ反映は本当に速いです。トータルで12万件くらいあるのですが、無料ツールでこんなにも軽快というのは感動します。

データセット完成後の運用と注意点

以後のCSVデータのマージ方法

一旦レポートを作ったら、あとは追加したいCSVデータが発生した時点で、データセットにマージすればOKです。たた2018年3月22日時点での操作はこんな感じなので、迷わないように注意。
データの追加 日々

  1. Googleデータスタジオにログイン
  2. データソースを選び、データセットをクリック
  3. 「コネクションを編集」をクリック
  4. 「ファイルを追加」をクリックでCSVをアップロード

いやほんと簡単ですね。これでCSVデータが発生し次第、都度データセットに追加マージして、ためておけば安心です。

Googleデータスタジオのデータ上限

なお、公式ヘルプによりますと、Googleデータスタジオのデータ制限やデータセットの上限は以下のとおりですので、注意しましょう。大量データを格納した後のことも考えたほうが良いとは思います。※2018年3月22日時点

  • データセット上限1000個(1ユーザーあたり)
  • 容量合計2GB(1ユーザーあたり)
  • アップロード数上限1日100回(データセットあたり)
  • ファイルサイズ上限100MB(データセットあたり)

>>ファイルのアップロードについて – データスタジオ(ベータ版)のヘルプ

データはGoogleクラウドストレージに格納されますので、その後の大規模運用なども検討するときは以下のドキュメントを参考にすると良いと思います。
>>Cloud Storage ドキュメント  |  Cloud Storage  |  Google Cloud

お疲れ様でした。

Googleデータスタジオによるレポート作成の教科書 ~成果を上げるWeb解析レポートを徹底解説~ | 佐々木 秀憲, 稲葉 修久, 小田切 紳, 藤岡 浩志, 井水 大輔, 平野 泰章, 小田 則子, 窪田 望, 古橋 香緒里, 小川 卓, 江尻 俊章

Googleデータスタジオによるレポート作成の教科書 ~成果を上げるWeb解析レポートを徹底解説~ | 佐々木 秀憲, 稲葉 修久, 小田切 紳, 藤岡 浩志, 井水 大輔, 平野 泰章, 小田 則子, 窪田 望, 古橋 香緒里, 小川 卓, 江尻 俊章 |本 | 通販 | Amazon
Amazonで詳しく見る

関連情報リンク

背景黒だとスマートに見えますよね。
>>無料BIツール「Googleデータスタジオ」でAdWords・Analyticsのデータを一元化する方法 – Yukihy Life

パーソナルなこともスマートに見える、そうGoogleデータスタジオならね。
>>Google データスタジオで二日酔いダッシュボードを作る – hitode909の日記

いつか有償版も使ってみたい。
>>無償版と有償版の違い(「Googleオプティマイズ」と「Googleデータスタジオ」)

かっこいいダッシュボード。
>>Googleデータスタジオ ☓ Optimizely Xで実現する「ダッシュボード ☓ マーケティング実験」のススメ | 【レポート】アナリティクス サミット2017 | Web担当者Forum

ざっくりと俯瞰できる記事です。
>>【連載】第1回 Google データスタジオ講座 Google データスタジオを使ってみよう | Unyoo.jp

ピボットもほんと簡単です。
>>Googleデータスタジオで4つのディメンションを使う方法 | Googleアナリティクス | DoRuby

使い込んでいくといろいろと見えてきます。
>>【Googleデータスタジオ】ページ全体にフィルタをかけた状態をキープできないか – Google 広告主コミュニティ

まとめ

Googleデータスタジオは無料ながら、大量データをビジュアル化してくれる本当に便利なツールです。アップロードなど安定してくれるともっと使いたくなる感じですね。

大量データをエクセルでマージするのが辛いなーと思ったら使ってみようと思いました。あとは、グラフやテンプレートなど、もっとビジュアルパターンが定期的に増えていってくれると嬉しい。でもなかなか無償版では難しいのかな。

今後もGoogleデータスタジオに期待です。

「CSV」

関連するほかの記事を見てみよう!
このサイトのトップページへ行く

  • このエントリーをはてなブックマークに追加
  • Pocket

Profile



Yoshihiko Yoshida
メディア運営業界23年目。Googleアナリティクス公式コミュニティ・アンサリスト最高ランク「レジェンド」国内初獲得。「マツコの知らない世界」Googleマップ案内人TV出演。Googleストリートビュー認定フォトグラファー。教育システム情報学会会員。元立教大学非常勤講師。主な著書「Googleアナリティクス基礎講座」(技術評論社)。趣味はデジカメとゲームとパン作り。>>もっと読む

Instagram

◆代表者略歴 ◆受賞歴
◆おもな著書 ◆TV出演歴
◆新聞掲載歴 ◆雑誌/連載歴
 <<お問い合わせはこちら>>

Facebook

このブログをRSS購読しよう!(無料)

follow us in feedly

よろしければ「いいね」して下さい!

 
PAGE TOP ↑