テクテク日記

テクテク=テクノロジー&一歩ずつ(テクテク)

Power Query

データフロー(Power Query Online)について③

前回はデータフローの基礎及び簡単なデモを紹介しましたが、今回はそれをより使いやすくするためのTipsについて少し紹介したいと思います。前回もお話をしましたが、データフロー(Power Query Online)はモダンUIがベースとなっており、こちらはいずれPower…

データフロー(Power Query Online)について②

前回はデータフローの概要について話をしましたが、今回はもう少し掘り下げつつ、実際にハンズオンで構築してみたいと思います。データフローのユースケースは前回少し話をしましたが、個人+組織の両方で活用を広げていくことが目的となります。データフロ…

データフロー(Power Query Online)について①

ExcelやPower BI Desktopに搭載されているセルフサービスETL*1機能であるPower Queryは本ブログで何度も紹介してきました。Power Queryはローカル環境で作業するのに最適で、特にスペックの高いPCを使っている場合、メモリフットプリントを最小化して処理を…

VS Codeを使ってPower Queryを記述する

あけましておめでとうございます。思えば、2022年に書いた最後の記事が100回目だったこともあり、2022年では計52記事(平均週1のペース)となりました。2023年の抱負は何といってもエンタープライズ型セルフサービスBIの推進をしていくことであり、そのため…

“挫折と栄光”、組織でPower BIを最大限に推進するために⭐️

一年に一回の長編ブログということで、今年は自分がPower BIに出会ってから、どうやって苦しみ、絶望の中から一筋の光を見出してPower BIにオールインを決めたかについて、お話したいと思います。 今でこそ、Power BIの製品チームとして日本・海外企業向けに…

Power Query -列のピボットの落とし穴と補正

列のピボットについて書くかどうか迷いましたが、意外と知っておいたほうが良いことが多かったので、概念と落とし穴、そして補正についてまとめました。特にエラーが発生しやすいこともあり、公式Docsには載っていない解決法も一緒に見ていきたいと思います…

Power BI with Dr.Sum ②

前回はPower BIからDr.Sumに接続した際の読込パフォーマンスについて見てきました。 今回はDr.SumをソースとしたDirectQueryのパフォーマンスについて見てみたいと思います。

Power BI with Dr.Sum ①

知っている人は知っていますが、Power BIのカスタムコネクタにDr.Sumが対応しました。Dr.SumはWingArc1st社のデータ分析基盤(DWH)ですが、日系ベンダーにおいては相応に人気があるようです。 Dr.SumにPower BIを繋げる機会をもらいましたので、このブログ…

稼働時間のモデリング

最近はお客さんの要望が多くなってきたせいか、良い意味でちょこちょこPower BIを触ってます。以前は在庫分析ばかりやっていたので、モデリングや使うメジャーに偏りが生じていましたが、最近はそれもないということで色んな分析ができてなかなか面白い。今…

DirectQueryのパフォーマンスの変化に関する考察

Power BIを活用している方であればインポートモードとDirectQueryの違いについてもある程度知っているかもしれません。今回はPower BI CATチームのPhilさんに共有してもらったDirectQueryにまつわる謎(留意点)について紹介したいと思います。 PhilさんはDA…

PowerBIRESTAPIを使う②

前回はPower BI DesktopでPower BI Serviceの各種情報の取得について見ました。今回はPower BI Desktopで取得したこれらの情報をPower BI Serviceへ発行し、スケジュール更新を行うやり方及び留意点についてご紹介します。

PowerBIRESTAPIを使う①

Power BI Serviceにあるワークスペースや各アーティファクト(成果物という訳ですが、最新のMSの公式ドキュメントではどうやら「アイテム」という名前に名称変更)に関する情報をREST APIで取得するニーズがあり、以下Power BI REST APIというカスタムコネク…

PQ Tips 3 -小ネタ集(列・リスト操作)

前回の小ネタ集はPower Queryのショートカットについて紹介しましたが、今回はM関数の中で、非常に便利なものをいくつか紹介します。

Power BIと物理メモリ②

前回は物理メモリ及びページングに関する概念を解説しました。今回はページングされているメモリの特定方法について見ていきたいと思います。

Power BIと物理メモリ①

BIを使っていくと、必ず理解しなければいけないのがRAMとCPUとなります。前回の記事ではこれらについて少し触れましたが、今回は主にPower BIとRAMの関係について見ていきたいと思います。

PQ Tips 2 -小ネタ集(ショートカット)

以前から、自分で便利だと思ったPower Queryに関するよく使うテクニックや使い方についての備忘録です。特に記載がない限り、ExcelでもPower BIでも同じ結果が得られます。今回はショートカット系に関する備忘録となります。

PQ Tips - 横並びのデータを縦に結合する

久しぶりにPower Queryに関することについて書いてみたいと思います。 横に広がるデータを縦に繋げるためにはどうしたら良いだろうか? というシンプルな質問に、答えられそうで答えられない場合が多いのではないかと思います。以下、分かりやすい例を紹介し…

Power BIによるSaaS分析2 -モデリング・指標

前回の記事はSaaSビジネスに関する概要について話をしました。今回は実際にダミーデータを使って、どのようにモデリングし、指標を作っていくかを見ていきたいと思います。

Power BIによるSaaS分析1 -概要解説

パンデミックの世界になり、世界は一気にリモートワークスタイルのビジネスが定着しました。中でもSaaS(Software as a Service)と言われるビジネスモデルが急激に需要を伸ばしており、B2CであればNetflixやHuluといったストリーミングサービス、B2Bであれ…

Power Queryの応用 -書式が異なるデータの集計④

過去3回にわたり、書式が異なるデータの集計に関するTipsを紹介してきました。最終回は予告通り、クエリのパフォーマンス問題とTable.SelectColumnsについて話をしていきます。なお、下記サンプルをダウンロードした場合、①~③まで読んでおくことをお勧めし…

Power Queryの応用 -書式が異なるデータの集計③

前回、前々回の記事に続き、今回はTable.FirstNで列をキープする方法と列名の正規化(列名を統一して、データを正しく結合できるようにする)を中心に見ていきたいと思います。この記事が初めてという方はぜひ下記①と②を読んでおくことをお勧めします。 サン…

Power Queryの応用 -書式が異なるデータの集計②

前回は書式が異なるデータを集計しようとした場合、いくつかハードルがあることを話しました。 サンプルファイル(フォルダパスの修正方法は上記第1回をご参照) https://bit.ly/3ri8LcH 今回はその続きで、いくつかのテクニックを使って簡単にデータを抽出…

Power Queryの応用 -書式が異なるデータの集計①

Excelでデータ分析をやったことがある人であれば、データクレンジング*1ほど、時間が掛かる作業はないと知っているはずです。Excelのヘビーユーザーであるほど、書式の異なるデータを”マッサージ”して1つのデータセットとして結合する作業をしてきた経験が多…

Power Queryのエラー対処事例③

前回は「ステップレベルエラー」のうち、列が見つからないエラー及びFormula.Firewallに関するエラー、それらの対処法(列のデータ型のダイナミック指定等)について見ていきました。 marshal115.hatenablog.com 今回は「セルレベルエラー」について見ていき…

Power Queryのエラー対処事例②

前回の記事では「ソースデータエラー」について話をしました。今回はその続きとなります。 marshal115.hatenablog.com

Power Queryのエラー対処事例①

Power Queryを使用していると、エラーによく遭遇したりします。初心者のうち、エラーが発生すると対処に困るものですが、エラーの種類について知っていれば冷静に対処できますので、事例を交えて対処法について記載してみようと思います。なお、頻出エラーに…

外部企業向けBI導入を全て1人で実践して思ったこと

今回は今まで何回も外部企業向けにPower BIによるBI導入をしてきた経験について話してみたいと思います。前提条件として以下数項目を念頭に入れて読んで頂ければと思います。 記事の内容は個人の備忘録的なもの セルフサービスBI*1寄りの構築である 構築に関…

Power Queryにおけるデータ型の考察

Excelユーザーで普通にデータ集計を行い、ピボットテーブルを作って分析を行う人は特に"データ型"に付け使う必要はないでしょう。今迄であれば、"データ型"はAccessやデータベース等を扱うヘビーユーザー、あるいはDBA*1等の専門家が取り扱うトピックでした…

データに関する基礎知識2

前回はデータの基礎に関して、データの概念及びきれいなデータ vs きたないデータ等について見ていきました。BIを活用するためにはデータについてしっかり押さえておく必要があり、今回はその続きについて見ていきたいと思います。

データに関する基礎知識1

本ブログはBIテクノロジーに関する紹介ですが、そもそもテクノロジーを学ぶ目的の1つがデータを有効活用することにあります。 テクノロジー × データ = 意思決定 というのがキーワードですが、今回は”データ”についていろいろ考えてみたいと思います。