テクテク日記

テクテク=テクノロジー&一歩ずつ(テクテク)

Power Queryの基礎 4_CSV結合①

気づけばPower Query(パワークエリ)に関しては4回目の記事となりました。小出しにしているわけではないですが、細かいところや背景等をプラスしていくと、どうしても記事が多くなってきます。

私がPower Queryを本格的に使い始めたのが2016年末の時でしたので、2020年10月時点で約4年のキャリアということになります。思えば当時一番最初にやったのが、今回解説するPower Queryによるデータ集計であり、基礎中の基礎であると同時に、最も使用頻度の高い作業になります。

データ集計はデータソースの種類やデータのクリーン度合いによって多くのパターンが存在し、一回の記事では紹介しきれないので、数回に分けて行いたいと思います。以下今回のコンテンツとなります。

続きを読む

Power Queryの基礎 3_クエリ化

前回はPower Queryを使う前の各種設定について話をしました。いよいよPower Queryを実際に使ってみるのですが、今回は以下のテーマについて簡単に見ていくことにします。なお、ExcelのPower Queryを使ったほうが解説しやすいので、基本的にExcelベースで話を進めていきたいと思います。

  • データの取得
    • オリジナルデータ
    • テーブル化してクエリ化
    • 名前の定義によるクエリ化
    • 通常データ(テーブル化や名前の定義なし)
  • まとめ
続きを読む

DAX Studioによるデータのエクスポート

ExcelやPower BIからデータをCSVやText形式に出力する方法を解説します。

概念図

f:id:marshal115:20200606154244p:plain

Power QueryでExcelのワークシートに出力したものを別途Excelファイルに貼り付け、CSVとして保存する方法よりも柔軟性が高く、かつ、以下のようなメリットがあります。

  • データボリュームが100万行以上の場合でも出力できる
  • 複数のテーブルを一括で出力できる
  • 基データがExcelである場合に比べ、Power Queryでの処理速度が約7も早くなる
続きを読む

Power Queryの基礎 2_設定編

前回に続き、Power Query(パワークエリ)の基礎について話をします。記事に出ているExcelはOffice 365バージョンですが、必要に応じでExcel 2016のスクリーンショットも載せています。なお、OSはWindowsとなりますので、Macユーザーの方は以下のリンクをご参考ください。

  • Power Queryのインストール確認
  • Excelのバージョン確認
  • Officeを最新の状態へ更新
  • Power Queryの設定(Excel
    • Power Queryの起動と設定
    • Excel 2016のPower Query画面
  • Power Queryの設定(Power BI Desktop)
  • まとめ

Power Queryのインストール確認

Power QueryはExcel 2016以降であればExcelに標準搭載されていますが、Excel 2010(Microsoft Office 2010 Professional Plus)やExcel 2013まではアドインとしてダウンロードする必要があり、ご自身の使用バージョンがこれらに当たる場合は下記サイトよりダウンロードしてください。

Excelのバージョン確認

Power Queryを設定する前にとても重要なことの1つに、現在使用されているExcelのバージョンチェックがあります。以下手順となります。
※ Office 365のExcelを前提

続きを読む

Power Queryの基礎 1_特徴

少し前にPower Query(パワークエリ)で簡単にWeb上のデータを抽出できるデモをやりましたが、今回から基礎について見ていきたいと思います。

  • Power Queryの特徴
  • これまでのデータ処理
  • Power Queryの費用対効果
  • Power Queryエディタ
  • まとめ 

Power Queryの特徴

Power Queryの基本的な特徴は以下の通りです。

  • Excelに搭載されたデータ加工機能(※BIツールであるPower BIも同じ)
  • Excelの通常作業と同じ操作感覚
  • ユーザーインターフェース(UI)操作でデータ処理の殆どを完結可能
  • 使えば使う程、その”凄さ” に感動を覚える(簡単・パワフル・深い)
  • データ抽出・加工(ETL)の“デファクト・スタンダード”(使えないと仕事にならない!)
続きを読む

データアナリストが作る新型コロナ(COVID-19)BIレポート

世界が新型コロナの影響を受ける中、情報共有の一環としてPower BIで新型コロナ(COVID-19)のBI*1レポートを作成してみました。BIレポートの作成にはPower Query及びDAX / Data Modelの知識が必要ですが、これら全てを駆使して出来上がったものが下記の埋め込みレポートです。ちなみに、レポートは作成後も見た目、指標、使い勝手などを随時調整していますが、大まかな枠組み(80%程度)は3日で仕上げています。 

*1:BI = Business Intelligence略。BIツールを用いて、大量データの分析やその結果を可視化することで経営上の意思決定を迅速にサポートする手法

続きを読む

DAX / Data Modelのデモ

DAX / Data Model*1のデモを今回の記事にしますが、そもそもなぜ、Power QueryやDAX / Data Modelを習得するのでしょうか?このスキルはMicrosoft社が開発したテクノロジーですが、これらを習得することは、

*1:DAX / Data Model: Data Analysis eXpressionの略で、データ分析用言語。Data Model: データセットをリレーションで定義付けしたもので、この作業の後にDAXを記載する

続きを読む

Power Query -いきなりデモ

前回は「Power Queryについて」について紹介しましたが、今回は更に詳細に見ていきます。本来は基礎から解説していくのが定石ですが、本ブログでは可能な限り実務的な情報を発信していきたいと思いますので、実用的な使い方から先に紹介したいと思います。触ったことがない方でも簡単にできますので、ぜひ手順に従ってやってみてください。

続きを読む

DAX / Data Modelについて

本ブログのメインコンテンツの1つは「Power Queryについて」の記事にて図説したDAX / Data Model(データモデル)です。念のため、もう一度画像をアップロードしておきますが、見てお分かりの通り、データの加工を担当するPower Queryを前工程とするならば、DAX / Data ModelはBIツールを使ってデータ分析を可能にする後工程に当たります。

f:id:marshal115:20200424200205p:plain

続きを読む

Power Queryについて

Power Query(パワークエリ)*1DAX / Data Model(データモデル)*2の両方について解説していくと書きましたが、この2つのテクノロジーは似て異なるものです。何より重要なのは、紹介していく順番ですが、殆どの方は最初にPower Queryから学んでいくことになると思います。

*1:データの取得・変換機能

*2:DAX: Data Analysis eXpressionの略で、データ分析用言語。Data Model: データセットをリレーションで定義付けしたもので、この作業の後にDAXを記載する

続きを読む