技術に関する興味深いページをシェアする
第1ターム:2026年1月30日 〜 2026年1月31日
https://techblog.kazaneya.com/20250305-agiledatamodeling-poem-ucchi/
AIネタでいこうと思っていましたが、最近気になっているデータモデリングについての記事を読みました。(少し古い)
データ基盤を構築・運用してる組織で「データの民主化を目指しています!」みたいな事をよく聞くと思うのですが、データモデリングされていないと利用者側は辛いよ。という記事です。
業務で扱っているデータ基盤がこれでした。
・テナント横断の生スキーマのデータを検索できる
・そこからアナリストが部門別に利用する塊に抽出してデータマート化している
初期としては正しいデータ基盤ですが、生データなので hoge_type = 1 みたいな値が入っているわけです。アナリストや非エンジニアは涙目です。。
ここからデータの整形や意味づけ毎に構造化することをデータモデリングと呼ぶそうです。
raw_* ← 生データ
stg_* ← 整形・正規化
dim_* ← ディメンション
mart_* ← データマート(Fact)
AIもデータモデリングされていると分析の精度が高くなるそうなのでめちゃくちゃ重要ですね。
AIネタでいこうと思っていましたが、最近気になっているデータモデリングについての記事を読みました。(少し古い)
データ基盤を構築・運用してる組織で「データの民主化を目指しています!」みたいな事をよく聞くと思うのですが、データモデリングされていないと利用者側は辛いよ。という記事です。
業務で扱っているデータ基盤がこれでした。
・テナント横断の生スキーマのデータを検索できる
・そこからアナリストが部門別に利用する塊に抽出してデータマート化している
初期としては正しいデータ基盤ですが、生データなので hoge_type = 1 みたいな値が入っているわけです。アナリストや非エンジニアは涙目です。。
ここからデータの整形や意味づけ毎に構造化することをデータモデリングと呼ぶそうです。
raw_* ← 生データ
stg_* ← 整形・正規化
dim_* ← ディメンション
mart_* ← データマート(Fact)
AIもデータモデリングされていると分析の精度が高くなるそうなのでめちゃくちゃ重要ですね。