テクテク日記

テクテク=テクノロジー&一歩ずつ(テクテク)

Power Queryの基礎 6_CSV結合③

Power Queryでは、最も効率的なやり方を行うためには、多少のコーディングが入ることになります。これはPower Queryに限らず、DAX / Data Modelでも同じことであり、生産性を重視するのであれば人間がコンピューターに教えてあげる必要があります。今回はCsv.Documentを使ったベストプラクティスについて紹介しますが、先に”種明し”をすると以下の通りです。

続きを読む

Power Queryの基礎 5_CSV結合②

前々回の記事はCSVファイルをBinary.Combineで結合する方法を紹介しましたが、今回はCsv.Documentという関数を使ってデータを抽出する方法を見ていきます。Csv.DocumentCSVファイルやTextファイルからデータを抽出する際に使われるM言語で、csvやtextファイルのデータ結合に際して使われます。CSVは通常、カンマ「,」区切りで構成されたフラットファイル*1であり、textファイルの多くはタブ区切りで構成されています。

*1:データを列挙したテキストファイルで、改行文字によって各レコードが仕切られているもの。Excelとは異なり、複数のシートでのデータを格納するのではなく、1つのファイルで1つのテーブル(データセット)でデータを格納する

続きを読む

MicrosoftのPowerファミリー

MicrosoftのテクノロジーやサービスにはPower○と付く言葉がたくさんあり、主なものは以下の通りです。

  1. Power Query
  2. Power Pivot
  3. Power View
  4. Power Map
  5. Power Platform
    Power BI
    Power Apps
    Power Automate(旧Microsoft Flow)
    Power Virtual Agents

    Power Pages
    ※追記: 2022年6月のMicrosoft Build 2022より、PowerファミリーPower Pagesが追加されました。
続きを読む

Power Queryの基礎 4_CSV結合①

気づけばPower Query(パワークエリ)に関しては4回目の記事となりました。小出しにしているわけではないですが、細かいところや背景等をプラスしていくと、どうしても記事が多くなってきます。

私がPower Queryを本格的に使い始めたのが2016年末の時でしたので、2020年10月時点で約4年のキャリアということになります。思えば当時一番最初にやったのが、今回解説するPower Queryによるデータ集計であり、基礎中の基礎であると同時に、最も使用頻度の高い作業になります。

データ集計はデータソースの種類やデータのクリーン度合いによって多くのパターンが存在し、一回の記事では紹介しきれないので、数回に分けて行いたいと思います。以下今回のコンテンツとなります。

続きを読む

Power Queryの基礎 3_クエリ化

前回はPower Queryを使う前の各種設定について話をしました。いよいよPower Queryを実際に使ってみるのですが、今回は以下のテーマについて簡単に見ていくことにします。なお、ExcelのPower Queryを使ったほうが解説しやすいので、基本的にExcelベースで話を進めていきたいと思います。

  • データの取得
    • オリジナルデータ
    • テーブル化してクエリ化
    • 名前の定義によるクエリ化
    • 通常データ(テーブル化や名前の定義なし)
  • まとめ
続きを読む

DAX Studioによるデータのエクスポート

ExcelやPower BIからデータをCSVやText形式に出力する方法を解説します。

概念図

f:id:marshal115:20200606154244p:plain

Power QueryでExcelのワークシートに出力したものを別途Excelファイルに貼り付け、CSVとして保存する方法よりも柔軟性が高く、かつ、以下のようなメリットがあります。

  • データボリュームが100万行以上の場合でも出力できる
  • 複数のテーブルを一括で出力できる
  • 基データがExcelである場合に比べ、Power Queryでの処理速度が約7も早くなる
続きを読む

Power Queryの基礎 2_設定編

前回に続き、Power Query(パワークエリ)の基礎について話をします。記事に出ているExcelはOffice 365バージョンですが、必要に応じでExcel 2016のスクリーンショットも載せています。なお、OSはWindowsとなりますので、Macユーザーの方は以下のリンクをご参考ください。

  • Power Queryのインストール確認
  • Excelのバージョン確認
  • Officeを最新の状態へ更新
  • Power Queryの設定(Excel
    • Power Queryの起動と設定
    • Excel 2016のPower Query画面
  • Power Queryの設定(Power BI Desktop)
  • まとめ

Power Queryのインストール確認

Power QueryはExcel 2016以降であればExcelに標準搭載されていますが、Excel 2010(Microsoft Office 2010 Professional Plus)やExcel 2013まではアドインとしてダウンロードする必要があり、ご自身の使用バージョンがこれらに当たる場合は下記サイトよりダウンロードしてください。

Excelのバージョン確認

Power Queryを設定する前にとても重要なことの1つに、現在使用されているExcelのバージョンチェックがあります。以下手順となります。
※ Office 365のExcelを前提

続きを読む

Power Queryの基礎 1_特徴

少し前にPower Query(パワークエリ)で簡単にWeb上のデータを抽出できるデモをやりましたが、今回から基礎について見ていきたいと思います。

  • Power Queryの特徴
  • これまでのデータ処理
  • Power Queryの費用対効果
  • Power Queryエディタ
  • まとめ 

Power Queryの特徴

Power Queryの基本的な特徴は以下の通りです。

  • Excelに搭載されたデータ加工機能(※BIツールであるPower BIも同じ)
  • Excelの通常作業と同じ操作感覚
  • ユーザーインターフェース(UI)操作でデータ処理の殆どを完結可能
  • 使えば使う程、その”凄さ” に感動を覚える(簡単・パワフル・深い)
  • データ抽出・加工(ETL)の“デファクト・スタンダード”(使えないと仕事にならない!)
続きを読む

データアナリストが作る新型コロナ(COVID-19)BIレポート

世界が新型コロナの影響を受ける中、情報共有の一環としてPower BIで新型コロナ(COVID-19)のBI*1レポートを作成してみました。BIレポートの作成にはPower Query及びDAX / Data Modelの知識が必要ですが、これら全てを駆使して出来上がったものが下記の埋め込みレポートです。ちなみに、レポートは作成後も見た目、指標、使い勝手などを随時調整していますが、大まかな枠組み(80%程度)は3日で仕上げています。 

*1:BI = Business Intelligence略。BIツールを用いて、大量データの分析やその結果を可視化することで経営上の意思決定を迅速にサポートする手法

続きを読む

DAX / Data Modelのデモ

DAX / Data Model*1のデモを今回の記事にしますが、そもそもなぜ、Power QueryやDAX / Data Modelを習得するのでしょうか?このスキルはMicrosoft社が開発したテクノロジーですが、これらを習得することは、

*1:DAX / Data Model: Data Analysis eXpressionの略で、データ分析用言語。Data Model: データセットをリレーションで定義付けしたもので、この作業の後にDAXを記載する

続きを読む