テクテク日記

テクテク=テクノロジー&一歩ずつ(テクテク)

Power Query

PowerBIRESTAPIを使う②

前回はPower BI DesktopでPower BI Serviceの各種情報の取得について見ました。今回はPower BI Desktopで取得したこれらの情報をPower BI Serviceへ発行し、スケジュール更新を行うやり方及び留意点についてご紹介します。

PowerBIRESTAPIを使う①

Power BI Serviceにあるワークスペースや各アーティファクト(成果物という訳ですが、最新のMSの公式ドキュメントではどうやら「アイテム」という名前に名称変更)に関する情報をREST APIで取得するニーズがあり、以下Power BI REST APIというカスタムコネク…

PQ Tips 3 -小ネタ集(列・リスト操作)

前回の小ネタ集はPower Queryのショートカットについて紹介しましたが、今回はM関数の中で、非常に便利なものをいくつか紹介します。

Power BIと物理メモリ②

前回は物理メモリ及びページングに関する概念を解説しました。今回はページングされているメモリの特定方法について見ていきたいと思います。

Power BIと物理メモリ①

BIを使っていくと、必ず理解しなければいけないのがRAMとCPUとなります。前回の記事ではこれらについて少し触れましたが、今回は主にPower BIとRAMの関係について見ていきたいと思います。

PQ Tips 2 -小ネタ集(ショートカット)

以前から、自分で便利だと思ったPower Queryに関するよく使うテクニックや使い方についての備忘録です。特に記載がない限り、ExcelでもPower BIでも同じ結果が得られます。今回はショートカット系に関する備忘録となります。

PQ Tips - 横並びのデータを縦に結合する

久しぶりにPower Queryに関することについて書いてみたいと思います。 横に広がるデータを縦に繋げるためにはどうしたら良いだろうか? というシンプルな質問に、答えられそうで答えられない場合が多いのではないかと思います。以下、分かりやすい例を紹介し…

Power BIによるSaaS分析2 -モデリング・指標

前回の記事はSaaSビジネスに関する概要について話をしました。今回は実際にダミーデータを使って、どのようにモデリングし、指標を作っていくかを見ていきたいと思います。

Power BIによるSaaS分析1 -概要解説

パンデミックの世界になり、世界は一気にリモートワークスタイルのビジネスが定着しました。中でもSaaS(Software as a Service)と言われるビジネスモデルが急激に需要を伸ばしており、B2CであればNetflixやHuluといったストリーミングサービス、B2Bであれ…

Power Queryの応用 -書式が異なるデータの集計④

過去3回にわたり、書式が異なるデータの集計に関するTipsを紹介してきました。最終回は予告通り、クエリのパフォーマンス問題とTable.SelectColumnsについて話をしていきます。なお、下記サンプルをダウンロードした場合、①~③まで読んでおくことをお勧めし…

Power Queryの応用 -書式が異なるデータの集計③

前回、前々回の記事に続き、今回はTable.FirstNで列をキープする方法と列名の正規化(列名を統一して、データを正しく結合できるようにする)を中心に見ていきたいと思います。この記事が初めてという方はぜひ下記①と②を読んでおくことをお勧めします。 サン…

Power Queryの応用 -書式が異なるデータの集計②

前回は書式が異なるデータを集計しようとした場合、いくつかハードルがあることを話しました。 サンプルファイル(フォルダパスの修正方法は上記第1回をご参照) https://bit.ly/3ri8LcH 今回はその続きで、いくつかのテクニックを使って簡単にデータを抽出…

Power Queryの応用 -書式が異なるデータの集計①

Excelでデータ分析をやったことがある人であれば、データクレンジング*1ほど、時間が掛かる作業はないと知っているはずです。Excelのヘビーユーザーであるほど、書式の異なるデータを”マッサージ”して1つのデータセットとして結合する作業をしてきた経験が多…

Power Queryのエラー対処事例③

前回は「ステップレベルエラー」のうち、列が見つからないエラー及びFormula.Firewallに関するエラー、それらの対処法(列のデータ型のダイナミック指定等)について見ていきました。 marshal115.hatenablog.com 今回は「セルレベルエラー」について見ていき…

Power Queryのエラー対処事例②

前回の記事では「ソースデータエラー」について話をしました。今回はその続きとなります。 marshal115.hatenablog.com

Power Queryのエラー対処事例①

Power Queryを使用していると、エラーによく遭遇したりします。初心者のうち、エラーが発生すると対処に困るものですが、エラーの種類について知っていれば冷静に対処できますので、事例を交えて対処法について記載してみようと思います。なお、頻出エラーに…

外部企業向けBI導入を全て1人で実践して思ったこと

今回は今まで何回も外部企業向けにPower BIによるBI導入をしてきた経験について話してみたいと思います。前提条件として以下数項目を念頭に入れて読んで頂ければと思います。 記事の内容は個人の備忘録的なもの セルフサービスBI*1寄りの構築である 構築に関…

Power Queryにおけるデータ型の考察

Excelユーザーで普通にデータ集計を行い、ピボットテーブルを作って分析を行う人は特に"データ型"に付け使う必要はないでしょう。今迄であれば、"データ型"はAccessやデータベース等を扱うヘビーユーザー、あるいはDBA*1等の専門家が取り扱うトピックでした…

データに関する基礎知識2

前回はデータの基礎に関して、データの概念及びきれいなデータ vs きたないデータ等について見ていきました。BIを活用するためにはデータについてしっかり押さえておく必要があり、今回はその続きについて見ていきたいと思います。

データに関する基礎知識1

本ブログはBIテクノロジーに関する紹介ですが、そもそもテクノロジーを学ぶ目的の1つがデータを有効活用することにあります。 テクノロジー × データ = 意思決定 というのがキーワードですが、今回は”データ”についていろいろ考えてみたいと思います。

Power BIの差別化要素9 -1つのテクノロジー(BIとしてのExcel)

Power BIを使いこなすためには、Power Query及びData Model / DAXといった知識が必要不可欠となります。Power BIに限らず、どのBIツールを使うにしても、学習コストが発生するため、数か月あるいは数年という単位で常に学び続けることは珍しくありません。こ…

Power BIの差別化要素3 -ETL機能

Power BIの差別化要素その3は、ETL機能*1(Power Query)となります。本ブログのメイントピックですので、ブログの検索窓で「Power Query」をして頂くと殆どの記事とマッチすると思います。Power Queryの醍醐味については活用している本人が最も知っており、…

Power Queryの応用_ファイル名を[Data]列のTableの中に挿入

以前の記事でCSVの結合に際してBinary.Combineを使った場合、ファイル名を抽出できないと記載しました。 marshal115.hatenablog.com 一方で、Binary.Combineではなく、Csv.Documentを使用すれば、最終的にデータを展開(結合)する前に、ファイル名をデータ…

CSVとExcelの違い

ビジネスユーザーが自分で分析を行う際に使用するデータのうち、最も一般的なものがCSV(テキストファイル)やExcelとなります。今回はこの2つのデータの違いについて見ていきます。両者はどちらもExcelから開くことが可能であり、特にCSVは取り扱いに注意が…

Power Queryの基礎 10_ピボット化・ピボットの解除

Power Queryの中で、最も強力な機能の1つがPivotの解除である。名前から結果をイメージしにくいですが、簡単に言えば、 横に伸びているデータを縦にまとめる あるいは専門用語でいえば、 データの正規化 となります。

Power Queryの関数言語について

Power QueryはExcelで使われる関数と同じように、全ての処理は関数が関わってきます。これらの関数はM言語と呼ばれ、UIを使って実行するとExcelのマクロのように自動的に記録されていきます。Power Queryの初心者であればM言語を特に気にする必要はないです…

Power Queryの基礎 9_マージ・グループ化

前回の記事では、Excelでデータを結合をする際のベストプラクティスを紹介しました。今回は結合したクエリに「分類」をマージして、異なるデータ粒度でクエリをワークシートに出力する方法を紹介します。マージとは、Power Query版VLOOKUPであり、例えばマッ…

Power Queryの基礎 8_Excelの結合

Power Queryの基礎 7まではCSVの結合について詳細に説明をしてきました。今回はもう一つよく使われるデータソースであるExcelの展開・結合方法について解説します。CSVの結合と同様、Excelの結合はM言語(Excel.Workbook)を使用します。

Power Queryの基礎 7_CSV結合④

CSVを結合する方法をいくつか紹介してきましたが、今回はその中で基もお手軽にファイルを結合できる方法を紹介します。その前に、CSVファイルを結合する方法をおさらいをしておきますと、 Binary.Combine( 前ステップ[Content] ) Csv.Document ( 前ステップ…

Power Queryの基礎 6_CSV結合③

Power Queryでは、最も効率的なやり方を行うためには、多少のコーディングが入ることになります。これはPower Queryに限らず、DAX / Data Modelでも同じことであり、生産性を重視するのであれば人間がコンピューターに教えてあげる必要があります。今回はCsv…