米国時間、2024年3月26日から28日まで、ラスベガスで開催されたFabric Conference（略称：FabCon）に参加しました。FabConはMicrosoft Fabricに焦点を当てた初のカンファレンスであり、その内容について紹介したいと思います。下記動画は、FabConでのエキサイティングなシーンをまとめたもので、世界中でFabricに興味を持つ約4,000人の参加者が集まったイベントです。
FabConについて
FabConは、サードパーティの会場を借りて開催された、Microsoft Fabricをメインとしたコミュニティカンファレンスです。その名の通り、Power BI/Fabricコミュニティのメンバーが集まり、グローバル規模の有名企業を含むユーザー、パートナー、ISV*1、そしてMicrosoftの社員が大勢参加しました。FabConはMicrosoft Fabricの最新アップデート（ブログで一部発表）やエキスパートとの交流（AMA*2 Expert Sessions）、Fabricワークショップ、ネットワーキングなど、幅広いプログラムが用意されている、最大規模のイベントです。なお、このイベントは初開催でしたが、次回の開催はすでに来年に決定しています。
FabConではキーノートをはじめ、以下様々なセッションに参加することが可能です。
キーノート
メイン: Microsoft Fabric Vision & Roadmapp - Analytics in the Era of AI
Arun氏によるキーノートのオープニングスピーチ
Fabric featured partner（注目のパートナー）の紹介。日本からはZEAL社が入っています
ZEAL社と言えば、MVPの永田さんがFabricの導入イロハをまとめた開発ガイド資料がすごいので、ぜひともご覧ください。
Microsoft Fabric 開発ガイド - Speaker Deck
皆さんが大好きなAmir (Technical Fellow) とPatrick (Fabric CATチーム) の対話式デモ
Microsoft Fabricのコアコンセプトのおさらい
2024年4月現在、既にグローバルの本番環境に全て導入されているのが、こちらのワークスペースフォルダ機能です。
Fabricではアイテムが増えすぎることによって管理が難しくなってくるため、フォルダ機能が登場したことでこれが大幅に緩和されることが期待されます。Power BI Proでも使用できるため、下図のようにアイテムを好きなフォルダへ入れることができるようになりました。
フォルダに続き、もう一つの目玉機能であるTask Flowsが発表されました。
FabricでE2Eのシナリオを構築する際、どのようなワークロード、アイテムを使用すべきかを予めテンプレート化してくれるもので、フローチャートでその流れが一発で判別できるようになります。
各項目をクリックすると、対象となるアイテム（アーティファクト）へアクセスでき、対象者のアクセスコントロールも可能になります。Task Flowはチームコラボレーションを加速させ、各ステージで必要な機能（アイテム）を表示してくれるだけでなく、各カードをクリックすることでそのステージで使用したアイテムをフィルターしてくれる機能も持っています。
Task FlowはSneak Peek（ちょっとだけ覗いてみたもの）であり、今後のアップデートに期待したいところです。
その他大事な発表としてFolders in workspaces（ワークスペースの管理が楽になるため、この発表が個人的に一番嬉しい）、セキュリティ、CICD、Git統合等のエンタープライズ機能に関する発表が多くありました。
ワークスペースは、Power BIが登場してから常に待ち望まれていた機能でしたが、Fabricの登場により、Power BI以外のアイテムが急増し、アイテムの管理が難しくなりました。この機能を開発してくれたチームは中国にあり、FabConでは大きな歓声が上がりました。
Data FactoryではDataflow Gen2での増分更新（Sneak Peek）が可能になります
Copy機能ではFast Copyを使ったデモでは8時間以上必要な処理が20分で完結。Fast Copyは対応データソースがまだ少ないため、利用用途は限定的（2024年4月時点、ADLSのみ）。
セキュリティに関してはVNET Data Gatewayにより、トラフィックがパブリック・エンドポイントに公開されないようにするための機能がGAとなっています。
セマンティックモデルをData FactoryのPipelineで更新できるようになりました。
OneLakeに関する発表ではついにGoogleストレージへのショートカットができるようになりました。
また、Amazon S3 互換のAPI データソースに対するショートカットへも対応するようになっています。On-premise data gatewayが必要ですが、写真にあるようにファイルシステムのオンプレミスデータに対してショートカットを貼ることができるようになります。
現在、OneLake ショートカットの画面を開くと、下図のようにGoogleとS3 互換の新しいショートカットが増えていることを確認できます。なお、複数のショートカットを一気に作ることが可能になりましたので、1つずつ作らなければいけなかった従来のやり方から改善されています。
もう一つエキサイティングなニュースとして、外部共有（Cross tenant sharing or OneLake Data Share）が発表されました。
これにより、テナント、ドメイン、クラウド、オンプレ環境、ファイル書式を跨ぎってデータを移動させることなく、データを活用することが可能になってきます。クロステナント共有はパーソン（共有された側の企業に代わって共有をAccept）に対して行われ、該当するパーソンが承諾する必要があります。また、通常のB2B共有とは異なり、アクセスを委任する方式（その人はLakehouseに対するアクセス権を有している前提）となります。
Data Science / Data Warehouse担当のJustynaさんへバトンタッチ
Warehouseワークロードから独自のスキーマを作り、テーブルをドラッグ&ドロップして管理できるようになりました。
言語インテリジェンス/自動補完機能により、notebook内でT-SQLをネイティブサポート。クロスデータベース・クエリを含む、WarehouseとT-SQLエンドポイントでネイティブに動作します。
Sparkコードをデバッグ！
VS Codeとの連携により、高機能なエディタ上でコードの修正が可能となります。修正後のコードはそのままFabric側に反映されるため、生産性が非常に高まります。
Sparkジョブの自動チューニングも目玉の1つでしょう。AI機能によって、ジョブを実行する度にクエリ実行時間が最適化されいくようです。Apache Sparkを使ってデータエンジニアリングを行う人には朗報となります。
DatabricksとのBetter togetherストーリー。Azure上にDatabricksがあることもあり、Microsoftにとっては競合であると同時に、パートナーでもあります。Competitionな関係ではなく、Coopetition (Cooperation + Competition）という良い関係を保っています。Databricksを使い慣れている人はすぐにFabricへオンボーディングできると言われています。
Mirroring（ミラーリング）に使用されるFabricのストレージは無料！
ミラーリングはショートカットとは異なり、Fabricへニアリアルタイムでデータを複製してくる機能になります。その際、複製されたデータはストレージが必要ですが、そのストレージを無料にするというアナウンスになります。Fabricにはいくつも新しい概念が出ており、以下3つはその違いについて把握しておくと良いでしょう。
- ショートカット
ストレージ系に対するアクセス。オープンフォーマットとの相性が良い。
- ミラーリング
データベース系に利用される。DBは独自フォーマットを採用していることが多いため、ミラーリングを使用する。 - マウント
Azure PaaSを操作する際に利用。Azure Data Factoryを既に使っているユーザーが作ったジョブをFabricで使いたい場合にこちらの機能を使用。
いろいろ混乱しやすいので、気を付けたいところです。
Power BIの発表になり、Zoeが登場。Zoeといえば、DAX Query View、Calculation Groups、Semantic Model等、Analysis Servicesチームの所属しており、英語がめちゃくちゃ聞き取りやすい（完全に個人的な感想）。
Direct LakeをPower BI Desktopで編集できる「Live Edit」機能が紹介されました。
この機能により、Power BI DesktopからDirect Lakeに接続し、Editをクリックすることで、データ（Delta Parquetファイル）をFabric OneLakeに保持しながら、Power BI DesktopでリレーションシップやDAXメジャーを構築することができるようになります（Sneak peek）。
この機能の登場により、ギガバイト/ペタバイトのデータをPower BI Desktopに取り込むことなく、メタデータ操作だけでFabricにあるセマンティックモデルに変更を加えることができるため、利用頻度が高まることが期待されます。また、DAX Query Viewを使用してDirect Lakeモードのデータにクエリを実行したり、Copilotを使って洞察を得たりすることも可能になります。
なお、よく誤解されるのは、Direct LakeをPower BI Desktopから作成できないということです。Direct LakeはすべてFabricポータルから作成する必要があります。
続いて、インポートモードのセマンティックモデルとOneLake 統合
ワークスペースの設定を「大きなセマンティックモデルのストレージ形式」に変更した場合、インポートモードで作成されたセマンティックモデルは、Fabricワークスペースに発行される際に、インポートモードではなくDelta Parquet書式のテーブルとして書き換えられます。これにより、全ての分析エンジンからクエリを実行することが可能となります。つまり、SQLクエリを書いたり、データサイエンスにデータを活用したりするなど、利用シーンが広がることになります。
メトリックス(メジャー)の再利用❗️について、以下メトリックスレイヤーが新登場。
頻繁に使用されるDAXメジャーを昇格し、他のレポートでも共有可能なセマンティックレイヤーとして活用していきます。この機能のメリットは、組織内でよく使用されているメトリックスをさらに多くの人に活用してもらうことです。そのためには、検索機能の強化なども含め、メトリックスハブでメトリックスを管理していくことを目指しています。
ここからいよいよCopilotの登場。まずはData WarehouseについにCopilotが搭載されるようになりました。
Copilotによってコードの修正が可能であり、コードの説明をしてもらうことで生産性の向上が期待できます。Copilot for Data Factoryと同様、SQLクエリの生成や一般的に質問応答にCopilotの利用が可能となります。
Copilot for DAX Query View
この機能にアクセスするためには、オプションからCopliotタブに行き、Workspaceをプレミアム（PPUではNG）ワークスペースを選択する必要があります。
この後、DAX Query Viewから以下のようにクエリを投げることで、それに対する回答を得ることができます。日本語で何度か試しましたが、精度はまずまずでした。
一方で、Power BI Serviceでしか使えなかったCopilot for Power BIがPower BI Desktopでも使えるようになりました。
キーノートでは目玉となる更新が発表されましたが、他にも多くの新規機能が発表されています。会場の熱気としては、以下の写真が分かりやすいでしょう。
英語オンリーのイベントであること、円安等により渡航費用がべらぼうに高いこと等により日本から参加された人は私を含め恐らく4人であり、来年はもっと沢山の参加に期待したいところです。
ワークショップ
3/24、3/25、3/29の3日に開催され、例えば以下のようなコンテンツがあります。
- Adopting Microsoft Fabric for Managed Self-Service Analytics
- Build Your First End-to-End Lakehouse Solution
- Microsoft Fabric in a Day: A Technical Overview
- Create and Manage Your Data Warehouse in Fabric
- Day After Dashboard in a Day
ワークショップはFabric CATメンバーが中心となって一日かけて参加者にFabricの使い方に慣れてもらうよう進められます。このワークショップにはFabConの参加費用とは別にコストがかかりますが、エキスパートに直接質問できる機会やハンズオンラボを体験できる貴重な機会となるため、参加者はかなり多かったようです。
一般セッション
MS製品チーム、MVP、パートナー、顧客によるプレゼン。私が参加したものは以下のようなものになります。
- Power BIにおけるコンテンツオーサリングの新機能：製品チームからのインサイト
What's New for Content Authoring in Power BI: Insights from the Product Team (Lauren Faber, Rien Hu & Sujata Narayana)
Sujataさんについては、下記Power BI勉強会で来日しますので、都合が合う方はぜひMicrosoftの品川オフィスにて実際の声を聞いてもらえればと思います。
Power BI 勉強会 #29 Power BI/Microsoft Fabric Update - connpass - Fabric容量を理解する
Understanding Fabric Capacities (Chris Novak & Pat Mahoney)
Power BI 単体で運用する場合とは異なり、Fabricは容量単位で考えて行く必要があります。そのため、容量管理をしっかり把握しておく必要があり、Chris Novak（プラットフォーム、Fabric容量担当）とPat（Fabric CAT）のセッションは大いに役立ちます。Patについては、こちらのYouTubeを見ることで、Fabric Metrics Appの使用方法を学ぶことができます。 - セマンティック・モデルを使ってビジネスとモデリングの課題に取り組む
Using Semantic Models to Address Business and Modeling Challenges (Marco Russo)
SQLBIのマルコさんのセッションは、部屋に入りきれないほどの人気を博していました。海外ではSQLBIはPower BIのDAX/Data Modelを学ぶ際のデファクトスタンダードであり、Fabricとなってもその勢いは衰えることはないようです。 - Power BIのロードマップを探る：戦略、ビジョン、デモ
Exploring Power BI's Roadmap: Strategy, Vision, and Demos (Christian Wade,
Jeroen ter Heerdt & Kim Manis)
お馴染みのKim ManisさんによるPower BIのロードマップの解説。
clicky clicky draggy droppy (要するに"簡単"だよという意味)というセリフで有名なChristian Wadeが登壇し、部下とコメディ風にPower BIの新規機能を紹介していくシーン。Power BIはFabricが登場したことで影が少し薄くなっているように感じるかもしれませんが、実際にはDirect Lakeの登場により、更に勢いを増していると言えます。 - OneLakeでPower BI：Delta Parquet 変換におけるファブリックの役割
Power BI with OneLake: Fabric's Role in Delta Parquet Transformation (Christian Wade & Zoe Douglas + Carly Newsome)
OneLake IntegrationがGAになった場合、Large Model Storage (大きなセマンティックモデルのストレージ形式)でオンになる。 - Power BIの隠れた魅力
Power BI Hidden Gems (Adam Saxton & Patrick LeBlanc)
お馴染み、YouTube登録者数40万人超のGuy in a Cubeの2名によるプレゼンテーション。Power BI セレブリティのため、会場もほぼ満員。Power BIやFabricに関するTipsを披露してくれました。
- データエステートをFabricにアップグレードする
Upgrading Your Data Estate to Fabric (Alex Powers, Aitor Murguzur & Artur Viera)
データウェアハウス等、Fabricへのデータマイグレーションに関して、スモールスタートが重要となります。 - Microsoft FabricにおけるData Factoryのアップグレードパスウェイとベストプラクティス
Upgrade Pathways and Best Practices for Data Factory in Microsoft Fabric (Mark Kromer, Miguel Escobar & Mike Carlo)
一番左のMark氏はFabric Data Integration（Data Factoryチーム）に所属しており、真ん中のMike Carlo氏はPower BI MVP、最後のMiguel Escobar氏はPower Queryで有名なM is for Data Monkeyの共同著者（MicrosoftのData Integrationチーム所属）となります。
Fabricへのマイグレーションに際してのパスについて解説。 - Direct Lakeへのディープダイブ：ベストプラクティスと最適化
Deep Dive into Direct Lake: Best Practices and Optimizations (Patrick LeBlanc & Philip Seamark)
Direct LakeはPower BIにおける新しいストレージであり、Fabricを活用する場合、その基礎を把握しておくことは非常に重要となります。 - Power BI 開発の最適化：開発者モードの可能性を引き出す
Optimizing Power BI Development: Unleashing the Potential of Developer
Mode (Mathias Thierbach & Rui Romano)
プロ開発者向けのセッションを行うRui Romano（元Fabric CAT）とMVPのMathias氏。この2人がいたからこそ、Power BIではpbipやTMDL等の言語でソースコントロールができるようになり、Power BIのプロ開発者にとって神と言っても良い2人です。
各セッションは60分間ですが、自分が参加したいセッションと同時に14のセッションが行われるため、すべてを網羅することは不可能です。興味を持つセッションに参加することになりますが、同じ時間帯に複数の興味深いセッションがある場合、取捨選択が必要となります。
セッションリスト
残念ながらFabConは録画されないので、セッションの中身を垣間見ることはできないですが、Fabricを今後導入していく上で役に立つ情報は非常に多いと感じました。
展示ブース
Microsoft、Tabular Editor、Databricks、Qlik等の展示ブースが展示されており、自由にノベルティを貰うことができました。
Tabular EditorのブースではDAX Optimizerのデモをマルコさんがやっており、Tabular Editorの開発者Danielも笑顔で対応していました。Tabular Editorは開発者向けの生産性向上ツールですが、DAXやモデリングを日頃行う人にとってはなくてはならないツールとなります。
Power Hour
海外のPower BI関連イベントで最も盛り上がるのがPower Hourです。Power Hourとは何か？
業務上のことは何も学べないが、最新のテクノロジーを活用した無駄な知識だけを学べる時間
というのがPower Hourの定義となります(笑)
例えば、以前のFabric CATがオフサイトでChris Webbが披露したものですが、Power BIでロールプレイングゲームと題して主人公がショップに入り、DAX関数を購入したり、Power BI Dataflowを購入するとひたすらValidating（検証中）が続くという、分かる人にしか分からないジョークが盛り沢山。
今回のFabConではSQL業界では超有名人であるBobさんがボケにボケまくるPower Hourが一番面白かった（GPUをGigantic Process Unitと言ったり・・・w）
You will learn absolutely nothing but fun!というのがPower Hourで、ある意味キーノートと同じくらいメインイベントとなっています。アメリカンジョークが良く分からない場合もあるけど、シリアスな各セッションの中で唯一全てが笑いで構成された時間となります。
その他
- AMAセッション
AMA (Ask Me Anything) セッションは、Fabricに関する質問がある人がFabric CATや製品チームに直接質問できる時間となります。Fabricを使い始めた人から上級者まで、様々な質問が飛び交います。 - 朝食・昼食
FabConでは無料で朝食と昼食が支給されますが、ベガスの物価が異様に高いので、これはかなり有難い。味についてはノーコメント・・・ - ネットワーキングパーティ
海外のイベントでは当たり前ですが、情報収集以外にネットワーキングを重要視する人は多いです。FabConも例外ではなく、その分野のエキスパートと繋がることが自分の会社やキャリアにプラスになると考える人が多いように思います。
- ノベルティ
イベントではあちこちにノベルティがもらえます。食べ物も例外ではなく、私はFabricのドーナツを食べて元気になりました。
おまけ
最後にベガスということで、やはり観光とカジノは欠かせません。観光といっても殆ど時間はないので、市内を少ししか回れなかったが、結局ホテルの中が一番すごい。
外にカジノがあるように見えて実は屋内という錯覚を引き起こす面白い発想。
もはや意味不明なポーズをするPower BI Creatorチームの人たち。ベスト・オブ・ポージング賞🏆は、一番右の方にあげたい（実はWebモデリングを担当するEmily Lisaさん、本人もこれ見て爆笑）。
最後に私自身、200ドル賭けてブラックジャックをしました。
結果は・・・この写真だけが残りました。来年のFabCon、ぜひまた行きたいと考えています。
