35. L22302 常見的大數據分析方法（60 分鐘）

一句話定位：初級只要你認得出「這是分類、那是分群」，中級要你在資料規模、時間軸、關聯結構、標註有無、即時性五個限制下，指名該用哪一種分析方法、用哪一個指標驗收，並說得出為什麼另外三個選項不行。

學習目標

依「資料型態 × 分析目標 × 規模限制」三條線索，指名分群、分類、迴歸、關聯規則、時序、文字、網路、地理、異常偵測九類方法中的正確者
計算並解讀支持度（Support）、信賴度（Confidence）、提升度（Lift），判斷一條關聯規則是否值得採用
說明大數據環境下描述性統計必須「近似化」的原因，並對應到 t-digest、Count-Min Sketch 等技術與 Spark／BigQuery 的實作函式
針對時間序列與極度不平衡資料，選出正確的資料切分方式與評估指標，避開隨機切分與 Accuracy 兩個經典陷阱

35.1 大數據分析方法的選型地圖

大數據分析與傳統分析的四個差異

特性	意義	對方法選擇的影響
可擴展性（Scalability）	能處理數百 GB 至 TB 級以上資料	單機 Pandas／Excel 出局，改用 Spark、BigQuery 等分散式平台
異質性（Heterogeneity）	結構化、半結構化、非結構化並存	文字、圖、地理資料各需專屬前處理與模型
即時性（Real-time／Near real-time）	具串流處理與即時回饋能力	必須是「單遍掃描、可增量更新」的演算法
近似性（Approximation）	以可接受誤差換取效率	精確解不再是唯一目標，近似摘要成為預設選項

考題的第一層過濾幾乎都在這四條上：只要題幹出現「上億筆」「毫秒級回應」「串流」，任何需要全量載入記憶體、需要全域排序的作法都可以先刪掉。

從題幹線索反推方法

資料有沒有「時間順序」且要預測未來值？
  YES → 時間序列分析（35.7）
資料是不是「交易／購物籃」，要找同時出現的組合？
  YES → 關聯規則（35.6）
資料是不是「使用者對商品的評分／互動矩陣」，要補出沒評過的偏好？
  YES → 推薦系統：協同過濾與矩陣分解 SVD／ALS（35.6）
資料是不是「實體之間的關係」（誰連到誰）？
  YES → 社群網路分析（35.9）
資料是不是「自由文字」（評論、客服對話、貼文）？
  YES → 文字探勘（35.8）
資料有沒有「經緯度／行政區」？
  YES → 地理空間分析（35.10）
目標是不是「找出極少數偏離常態者」？
  YES → 異常偵測（35.11）
有標籤嗎？
  有 + 輸出離散類別 → 分類（35.4）
  有 + 輸出連續數值 → 迴歸（35.5）
  沒有 + 要分組      → 分群（35.3）
只是要摘要分佈、算分位數，但資料量極大？
  YES → 近似描述性統計（35.2）

任務類型與典型驗收指標

分析任務	代表方法	主要指標
分群	K-means、DBSCAN、階層式	輪廓係數（Silhouette）、群內離散度
分類	羅吉斯迴歸、KNN、隨機森林	Accuracy、Precision／Recall、F1、AUC
迴歸	線性／Ridge／分位數迴歸	RMSE、MAE、R²
關聯規則	Apriori、FP-Growth	Support、Confidence、Lift
時序預測	ARIMA、Prophet、LSTM	RMSE、MAE、MAPE
異常偵測	Z-score、LOF、Isolation Forest	Recall、PR-AUC

35.2 近似描述性統計：為什麼大數據要「算不準」

資料從數十萬筆擴張到數億筆、甚至持續以串流產生時，「先排序再取中位數」這種需要全量掃描與全域 shuffle 的作法在成本上不可行。近似統計的目標不是精準無誤，而是在可容忍誤差範圍內，以極低的記憶體與單遍掃描換取實用水準的效率。

四種常用近似技術

技術	解決什麼問題	關鍵特性	典型情境
t-digest	估算中位數與任意分位數	對偏態分佈與尾端（如 P99）精度穩定；支援增量更新與多機合併	電商訂單金額的 P90、網路流量 P99 判斷 DDoS
Histogram Sketch	近似直方圖	快速呈現分佈形狀（偏態、峰度），記憶體需求低	社群活躍時段分佈、感測器品質變異初探
Count-Min Sketch	估算項目出現頻率	以雜湊計數換空間，只會高估不會低估	熱門商品點擊排行、高頻訪問 IP 偵測
Welford's Method	線上更新平均與變異數	逐筆更新、不保存歷史資料、數值穩定	IoT 感測器即時均值／變異監控

平台內建的近似函式

平台	函式	說明
Apache Spark	`approxQuantile()`	近似分位數，底層為 t-digest 類演算法
Apache Spark	`summary()` / `df.agg({'col':'stddev'})`	分散式描述統計；各 Executor 先算局部統計量再彙總
Google BigQuery	`APPROX_QUANTILES()`	PB 級資料的分位數估計
Google BigQuery	`APPROX_COUNT_DISTINCT()`	近似去重計數（基數估計）
PostgreSQL	`tdigest` 擴充 + `percentile_cont`	在資料庫內完成，省去資料搬移成本

分散式統計的正確心法是「把運算推到資料所在之處」：各節點計算計數、總和、平方和等局部統計量，再把這些極小的中間結果彙總成全域結果。把十億筆資料 collect() 回 Driver 節點，或是先做全域 sortBy 再取值，都是考題裡的標準錯誤選項。

35.3 分群（Clustering）

沒有標籤、想把相似的個體自動分組時使用。常見於客戶分群、消費者區隔、污染分佈分析。

演算法	要不要先給群數	適合的群形狀	能否標記雜訊	主要弱點
K-means	要（給定 K）	近似球形、大小相近	否（每點都被分進某群）	對尺度、離群值敏感；需先標準化
DBSCAN	不用（給 ε 與 MinPts）	任意形狀、密度不均	是（標為 Noise）	高維度下距離趨同，參數極難調
階層式（Hierarchical）	不用（切樹狀圖決定）	巢狀結構	否	複雜度高，不適合大規模資料
高斯混合模型（GMM）	要	橢圓形、可重疊	否	以 EM 估計，計算較重

判斷線索： 題幹講「先指定分成 K 群、反覆指派到最近質心並更新質心平均直到收斂」就是 K-means；講「不需事先指定群數、依密度判定、可標出雜訊點」就是 DBSCAN；講「合併或分裂形成樹狀結構」就是階層式。

高維度詛咒是 DBSCAN 的死穴： 在 500 維以上，任兩點的距離趨於相近，最遠與最近距離的對比消失，依 ε 半徑判斷鄰域密度的機制失效，結果就是所有點都被判成雜訊。此時應先降維（PCA）或改用其他方法，而不是去調小 MinPts（調小 MinPts 只會讓群更容易形成，方向相反）。

輪廓係數（Silhouette Coefficient）的值域是 [-1, 1]，越接近 1 表示該點與自己群內的相似度遠高於與最近鄰群，分群品質越好；負值代表該點可能被分錯群。

35.4 分類（Classification）

有標籤且輸出是離散類別時使用。中級常考的不是演算法原理，而是在多重限制下選模型。

演算法	輸出	訓練／推論成本	適用線索
羅吉斯迴歸（Logistic Regression）	校準過的機率（Sigmoid／多類別用 Softmax）	訓練快、推論僅矩陣相乘	要「可解釋的機率」、要快速上線、要係數可讀
KNN	多數決類別	惰性學習：訓練幾乎不做事，成本全在預測	小資料、原型驗證
決策樹／隨機森林	類別（可輸出比例）	訓練中等、可平行	特徵含類別型、非線性交互、不想做編碼假設
SVM	類別（無原生機率）	核方法隨樣本數超線性成長	中小資料、高維稀疏

選型上的三個高頻考點：

「要可解釋的機率」→ 羅吉斯迴歸。 線性迴歸與決策樹迴歸的輸出沒有 [0,1] 值域限制，硬當機率用不恰當；K-means 只給群編號，根本沒用到標籤。
「8 個類別、數十萬筆、要訓練效率與線上部署」→ 多類別羅吉斯迴歸（Softmax）。 SVM 搭配 One-vs-One 在 k 類下要訓練 C(k,2) 個分類器（8 類即 28 個），成本過高。
「不能改 Label Encoding，但線性模型把 1、2、3 誤讀成大小關係」→ 換成隨機森林。 樹只做「是否大於某門檻」的切分，編碼值的順序與間距不影響結果；Ridge 只是加 L2 懲罰、線性核 SVM 也仍是線性決策函數，兩者都解決不了這個問題。

極度不平衡（正例 < 1%）時： Accuracy 幾乎沒有判別力——全部預測成多數類就能得到 99% 以上。應改看召回率（Recall）與 PR-AUC。若商業目標是「寧可錯殺、不可放過」，要調降決策門檻（Threshold 由 0.5 往下），Recall 上升、Precision 下降；反之提高門檻是最大化 Precision 的方向。

決策樹的分割準則：不純度

上表的樹模型在大數據場景很常被選中（可平行、不必對類別型特徵做編碼假設），它的運作核心只有一件事：每一步挑一個切法，讓子節點變得更「純」。純度用「不純度」反向衡量。

指標	公式	pᵢ 是什麼	值域（k 類）	二分類最大值
吉尼不純度（Gini Impurity）	`Gini = 1 − Σ pᵢ²`（i 從 1 加到 k）	該節點內第 i 類的樣本比例＝該類樣本數 ÷ 節點總樣本數	0 ～ 1 − 1/k	0.5
熵（Entropy）	`Entropy = − Σ pᵢ log₂ pᵢ`	同上	0 ～ log₂k	1

公式裡的 k 是該節點內的類別數，決定累加幾項。

兩個端點值背起來就能秒殺計算題（以二分類為例）：

完全純：節點全是同一類   p = (1, 0)      → Gini = 1 − (1² + 0²)     = 0     ← 越小越純
最混雜：兩類各佔一半     p = (0.5, 0.5)  → Gini = 1 − (0.5² + 0.5²) = 0.5   ← 二分類的上限

所以「A,A,A,A,A,B,B,B,B,B」這種各 5 筆的資料，兩類比例都是 0.5，原始 Gini = 0.5。但若題目問的是正規化吉尼不純度（Normalized Gini Impurity），要再除以同類別數下的最大值（二分類是 0.5），得 0.5 ÷ 0.5 = 1。原始值與正規化值是兩個不同的數，看清楚題目問哪一個——這正是 114-2 第14題的設計。

pᵢ 是比例，不是樣本數。 直接把 5、5 代進公式會得到 1 − (5² + 5²) = −49，整個跳出 [0, 1] 區間，指標失去意義。節點大小一變動，數值就會暴走，也無法在不同節點之間比較。

怎麼挑分割點：找「加權平均不純度下降最多」的那個切法。

不純度下降量 = 父節點 Gini − Σ (子節點樣本數 ÷ 父節點樣本數) × 子節點 Gini
                             └──── 權重是樣本占比，不是把子節點 Gini 直接平均 ────┘

對每個特徵 × 每個候選切點各算一次 → 取下降量最大者 → 遞迴往下長

加權這一步最常被略過：一邊 900 筆、一邊 100 筆的切法，若把兩個子節點的 Gini 直接平均，會系統性偏好「切出一個極小但極純的節點」這種沒有實質貢獻的分法。

Gini 與資訊增益（Information Gain，以 Entropy 計算）的取捨：

面向	Gini	Entropy／資訊增益
運算成本	較快，只有平方與加總	較慢，每一類都要算對數
尺度	二分類上限 0.5	二分類上限 1，對不純的數值反應較大
誰以它為預設	CART（scikit-learn `DecisionTreeClassifier` 的 `criterion` 預設值即 `'gini'`）	ID3 用資訊增益、C4.5 用增益率（Gain Ratio）
對最終樹的影響	兩者選出的切點多數情況相近，通常不是模型好壞的主因	同左

兩個指標都是越小代表節點越純；「資訊增益」則是下降量，所以是越大越好——一個看不純度本身、一個看不純度減少了多少，方向相反，不要混著念。

35.5 迴歸（Regression）

有標籤且輸出是連續數值時使用。

方法	估計的是什麼	何時該選它
線性迴歸	條件平均數 E[Y\|X]	關係近似線性、殘差近似常態且變異齊一
Ridge（L2）	收縮後的係數	特徵高度共線，需穩定係數；係數趨近 0 但不歸零
Lasso（L1）	稀疏係數	需要自動做特徵選擇；係數可被壓成 0
分位數迴歸（Quantile Regression）	條件分位數（如 P95、P05）	分佈非對稱、厚尾、要評估極端風險
樹／集成迴歸	分段常數的組合	非線性、含類別特徵、不想假設函數形式

厚尾與極端事件是分位數迴歸的主場： 當報酬率分佈明顯非對稱且出現多次極端損失，平均數與標準差本身就被極端值污染，把資料裁剪到 ±3σ 更是直接刪掉最關鍵的風險事件。分位數迴歸不依賴常態假設，直接估計尾端分位，才是正解。

評估指標的取捨： RMSE 對大誤差懲罰重（平方項），MAE 較穩健，MAPE 提供跨單位可比的相對誤差——但 MAPE 在實際值接近 0 時會被放大失真，低銷售額門市用 MAPE 評估要特別小心。

35.6 關聯規則（Association Rules）

從交易紀錄中找出「買 A 的人也常買 B」的共現模式，屬於非監督式學習。典型應用是購物籃分析、商品陳列、交叉銷售與內容推薦。

三個指標的定義與值域

對規則 A → B（前項 A、後項 B）：

指標	公式	值域	意義
支持度 Support	P(A ∩ B)	[0, 1]	A 與 B 同時出現佔全部交易的比例 → 這條規則涵蓋多大的量
信賴度 Confidence	P(B \| A) = Support(A∩B) / Support(A)	[0, 1]	買了 A 的人裡面有多少也買 B → 條件機率，不對稱
提升度 Lift	P(A ∩ B) / [P(A) × P(B)] = Confidence(A→B) / P(B)	[0, ∞)	相對於「A、B 完全獨立」的倍數 → 關聯的方向與強度，對稱

Lift 的判讀是本節最常考的一格：

Lift  = 1  →  A 與 B 統計獨立，沒有關聯
Lift  < 1  →  負相關（買了 A 反而比較不會買 B）
Lift  > 1  →  正向關聯

為什麼 Confidence 高不等於規則有價值

假設某超商九成訂單都會加購塑膠袋。那麼「買鮮奶 → 買塑膠袋」的 Confidence 可以高達 0.9，看起來極強，但因為 P(塑膠袋) 本身就是 0.9，Lift ≈ 1，代表這條規則完全沒有提供額外資訊。Confidence 只看前項條件下的機率，沒有扣掉後項本身的普及率；Lift 才有。

反過來說，Lift 也不是越大越好：極高的 Lift 常出現在 Support 極低的罕見組合上（例如兩件冷門商品只被同兩位客人一起買過），統計上不穩定、商業上也無法規模化。實務判斷要三個指標一起看：Support 保證量體、Confidence 保證命中率、Lift 保證不是假關聯。

Apriori 與 FP-Growth

面向	Apriori	FP-Growth
核心作法	逐層（k → k+1）產生候選項目集再驗證	建 FP-tree（頻繁模式樹），直接遞迴挖掘
是否產生候選集	是，候選集可能爆炸	否
掃描資料庫次數	多次（每層一次）	通常兩次
大規模資料表現	較慢	較快，Spark MLlib 提供的是 FP-Growth 而非 Apriori

Apriori 的剪枝原理（反單調性）： 若某項目集不頻繁，則它的所有超集必定也不頻繁，可以直接剪掉。注意方向——反過來說「頻繁項目集的超集也頻繁」是錯的：{B} 與 {E} 各自頻繁，{B, E} 未必達到門檻。

手算題的解法流程：

1. 數每個單品出現次數 → 刪掉低於最低支持度者（第 1 輪）
2. 由存活的單品兩兩組合 → 數共同出現次數 → 再刪（第 2 輪）
3. 只有當某項目集的「所有子集都頻繁」時，才需要進入下一輪
4. 「最大頻繁項目集」= 存活下來且品項數最多者
   注意：單一品項 {A} 即使支持度最高，只要存在頻繁的二項集，它就不是答案

從共現規則到推薦系統：協同過濾與 SVD

關聯規則只回答「同一張訂單裡什麼跟什麼一起出現」，它答不出「這位使用者會給這部沒看過的電影打幾分」。要做後者，主流作法是把資料排成 使用者-商品評分矩陣（User-Item Matrix），再做矩陣分解。

路線	依據什麼推薦	代表作法	冷啟動（Cold Start）表現
協同過濾（Collaborative Filtering）	行為：誰跟誰的評分／點擊樣態相似	使用者導向、商品導向、矩陣分解（SVD／ALS）	差——新使用者與新商品都還沒有行為紀錄可比對
內容式過濾（Content-based Filtering）	屬性：商品的類別、標籤、文字描述	TF-IDF 或屬性向量的相似度計算	對新商品較友善（有屬性就能推）；新使用者仍需先給少量偏好
混合式（Hybrid）	兩者併用	加權、切換、串接	用內容式補協同過濾的冷啟動缺口

SVD 在這裡做的事：把看得見的評分，拆成看不見的潛在因子（Latent Factor）。

評分矩陣 R（m 位使用者 × n 項商品，絕大多數格子是空的）
        │  奇異值分解：R ≈ U Σ Vᵀ
        ▼
U (m×k)：每位使用者在 k 個潛在因子上的偏好強度
Σ (k×k)：每個潛在因子的重要性（奇異值，由大到小排列）
Vᵀ(k×n)：每項商品在 k 個潛在因子上的成分
        │  只保留最大的前 k 個奇異值 → 截斷 SVD（Truncated SVD），同時達成降維與去噪
        ▼
以 U Σ Vᵀ 重建矩陣 → 原本空白的格子被補上預測評分 → 排序後產生推薦清單

潛在因子不是人工定義的欄位，而是資料自己長出來的維度（事後回看也許能詮釋成「偏好動作片的程度」，但演算法本身不知道自己在學什麼）。同一套手法搬到詞-文件矩陣上，就叫潛在語意分析（Latent Semantic Analysis, LSA）——所以題幹同時出現「評分矩陣」「SVD」「潛在語意」時，它問的是矩陣分解式的協同過濾，不是關聯規則、也不是分群。

最常被對調的一組性質：

	特徵值分解（Eigendecomposition, EVD）	奇異值分解（SVD）
適用矩陣	只能是方陣	任意 m×n 矩陣皆可
分解形式	A = QΛQᵀ	X = UΣVᵀ
能不能直接吃使用者-商品矩陣	不能，使用者數與商品數幾乎不會相等	能，這正是推薦系統採用它的理由

「SVD 只能分解方陣」是典型誘答——受限於方陣的是 EVD，方向記反整題就錯。

與 PCA 的關係： PCA 可以用 SVD 實作（scikit-learn 的 PCA 內部即走 SVD），但 PCA 多了一道前置程序：必須先中心化（每個特徵減去自己的平均值），必要時再除以標準差做標準化。SVD 本身沒有這個要求，所以 SVD 是較一般化的運算，PCA 則是「對中心化資料做 SVD」的特定用法。

規模與稀疏度的現實限制： 真實評分矩陣的空缺率常在 99% 以上，稠密矩陣的標準 SVD 既無法直接處理缺值、成本也難以接受。分散式環境的實際主力是 Spark MLlib 的 ALS（Alternating Least Squares）——同屬矩陣分解思路，但只對「有觀測到的評分」做最佳化，且兩組因子可交替求解、易於平行化。

35.7 時間序列分析（Time Series Analysis）

資料具有時間順序（股價、用電量、網站流量、感測器訊號）時使用，目標是趨勢識別、季節性捕捉與未來預測。

四類方法與適用時機

類別	方法	適用線索
趨勢與平滑	移動平均（Moving Average）：固定視窗等權重平均	消除短期波動、突顯長期趨勢
	指數平滑（Exponential Smoothing）：權重隨時間指數衰減，近期權重高	短期預測、序列會動態變化
統計建模	ARIMA(p, d, q)	線性趨勢、序列可透過差分轉為定態
	SARIMA(p,d,q)(P,D,Q,s)	明顯週期性（月用電量、季度零售）
進階預測	Prophet（Meta 開源）	節慶效應、缺失值、趨勢突變；快速部署
	LSTM、Transformer	長期依賴、高維非線性；但算力與訓練成本高
平台工具	Spark + MLlib、TimescaleDB、Prophet、Kats	TB 級、串流、時間窗格查詢

ARIMA 三個字母的意思要記死： AR 是自迴歸（用過去的觀測值預測現在）、I 是差分次數（把非定態序列轉成定態）、MA 是移動平均——但這裡的 MA 指的是過去誤差項（殘差）的加權組合，和上一段「趨勢平滑用的移動平均」是兩回事。

時序資料的切分與驗證（高頻考點）

✗ 錯誤：隨機 80/20 切分
   → 未來資料混進訓練集，造成資料洩漏（Data Leakage），
     測試分數會虛高到毫無參考價值

✓ 正確：依時間順序切分（前段訓練、後段測試）
✓ 更佳：前進式驗證（Walk-Forward / Rolling Origin Validation）
   → 在多個時間切點反覆「用過去訓練、預測下一段」，檢驗模型穩定度

完整的時序建模策略還包含：加入時間特徵（星期、月份）、滯後特徵（Lag）與滾動統計特徵、納入節日與不定期事件（颱風、促銷）作為外生變數，並同時用 RMSE 與 MAPE 評估（兼顧絕對誤差與跨單位可比的相對誤差）。刪掉節日資料以避免極端值是錯的——那正是最需要被預測的高峰。

35.8 文字探勘（Text Analytics）

顧客評論、客服對話、社群貼文、問卷開放欄位都是非結構化文字，必須先轉成可運算的結構資料。

處理流程三階段

① 預處理 Preprocessing
   斷詞（Tokenization）→ 去標點 → 轉小寫 → 停用詞過濾
   → 詞幹提取（Stemming）或詞形還原（Lemmatization）

② 特徵轉換 Feature Extraction
   傳統：TF、TF-IDF
   靜態詞嵌入：Word2Vec、GloVe、FastText
   上下文嵌入：BERT、RoBERTa 等 Transformer

③ 任務導向分析
   分類（情感分析、主題分類）／分群（LDA 主題建模）
   ／資訊擷取（NER 命名實體辨識、關鍵字抽取）

兩組最容易寫反的對照

對照	左	右
Stemming vs Lemmatization	詞幹提取：機械式切掉詞綴，速度快，結果可能不是真實單字（studies → studi）	詞形還原：查詞典還原成字典原形（Lemma），考慮詞性與語義，結果是真實單字；不規則變化（ran → run、better → good）要靠它
靜態嵌入 vs 上下文嵌入	Word2Vec／GloVe：一個詞只有一個固定向量，無法區分多義詞	BERT：同一個詞在不同句子裡得到不同向量，能吃上下文

TF-IDF 的判讀： TF 是詞在單一文件中的頻率，IDF 反映該詞在整個語料中的稀有程度。TF-IDF 值高的詞是「在這篇文件裡常出現、但在整個語料中罕見」的關鍵詞——而不是單純「出現次數最多」的詞（那種詞通常是停用詞，IDF 極低反而被壓下去）。

FastText 的差異點在於它把詞拆成子詞（subword）n-gram，因此能處理拼字錯誤與未登錄詞（OOV）、適合多語言混雜資料。中文因為沒有空白分隔，斷詞本身就需要詞典或統計模型（jieba、CKIP）。

工具：Spark NLP（大規模）、spaCy（輕量高效）、Hugging Face Transformers（預訓練模型與 Fine-tuning）、Gensim（Word2Vec、LDA）。

35.9 社群網路分析（Network / Graph Analysis）

當資料的重點是「實體之間的關係」——人際互動、顧客與商品的購買關係、網頁超連結——就應該建成圖（Graph）結構來分析。

圖的三個屬性

屬性	意義	例子
有向（Directed）	邊有方向，A→B ≠ B→A	追蹤關係、網頁超連結
加權（Weighted）	邊帶權重	購買次數、互動頻率
動態（Dynamic）	網路隨時間變化	用戶關係隨新互動更新

中心性指標：各自衡量什麼「重要」

指標	計算依據	「重要」的意思	誰會是第一名
Degree Centrality	直接連結數	人氣、曝光量	粉絲最多的網紅
Betweenness Centrality	落在多少組節點最短路徑上	資訊中介、橋樑、守門人	連接兩個社群的唯一中間人
Closeness Centrality	到其他所有節點的平均最短路徑越短，值越高	資訊傳播效率	位於網路正中央的節點
PageRank	遞迴分配：被重要節點指向者更重要	結構性權威	被多個權威節點引用者

這四個指標的第一名往往不是同一個節點：粉絲數最多（Degree 高）的人，未必是資訊必經的橋樑（Betweenness 高）。題目若強調「關鍵中間人」「移除後資訊流會斷」，答案是 Betweenness 而非 Degree。

社群偵測與鏈結預測

Louvain：最大化模組度（Modularity）的貪婪階層式演算法，速度快，適合大規模圖。
Label Propagation：靠標籤傳播分群，計算效率極高，但結果受初始化影響、穩定性較差。
鏈結預測（Link Prediction）：預測「未來可能出現的邊」，方法包含共同鄰居數、Jaccard 係數，以及圖神經網路（GNN）。

圖模型設計（官方考過兩題）

需求	正解	為什麼
社群平台「按讚」行為含時間戳記與裝置類型，要保留使用者↔貼文關係又能查行為屬性	建模為連接兩節點的邊，把時間戳記、裝置類型存成邊的屬性（Property）	按讚本質是互動關係；設成獨立節點會增加結構複雜度與查詢成本，寫進使用者節點屬性則會遺失與特定貼文的對應
整合研究報告、專利、專家知識，要語意查詢與關聯推理	RDF 三元組（Subject–Predicate–Object）	標準化語意模型，可搭配本體（Ontology）與推理引擎，語意擴展性佳

工具：Spark GraphX／GraphFrames（分散式、億級節點）、Neo4j + GDS（Cypher 查詢、即時應用）、NetworkX／iGraph（中小規模與教學）、Gephi（視覺化探索）。

35.10 地理空間分析（Geospatial Analysis）

GPS 軌跡、手機定位、氣象監測、物流追蹤都帶有位置資訊。地理空間資料分點（座標）、線（道路、管線）、面（行政區、土地使用）三種型態。

兩個核心挑戰

挑戰	意義	對策
空間異質性（Spatial Heterogeneity）	不同區域的資料特性差異大，單一模型概括不了	地理加權迴歸（GWR）：讓迴歸係數隨地點變化
空間自相關（Spatial Autocorrelation）	鄰近地點彼此影響，違反傳統統計的獨立性假設	改用空間專屬統計量，如 Getis-Ord Gi* 偵測統計顯著的熱點／冷點

常見方法

熱點分析：核密度估計（KDE）產生平滑熱圖；Getis-Ord Gi* 做局部空間自相關檢定。
空間群聚：K-means（把經緯度與屬性一起納入）適合均勻分群；DBSCAN 適合密度不均、形狀不規則的分佈。
空間插值：由已知點（如測站氣溫）推估未知位置的數值，生成連續分佈圖，常見作法有反距離加權（IDW）與克利金（Kriging）。

工具：GeoPandas（Python 中小規模）、QGIS／ArcGIS（圖形化探索與製圖）、Apache Sedona（Spark 上的分散式空間分析）、PostGIS（PostgreSQL 空間擴充，支援空間索引與查詢）。

35.11 異常偵測（Anomaly Detection）

目標是從大量正常資料中自動找出偏離預期的少數觀測值：金融詐騙、設備故障、惡意流量、系統錯誤。

四個先天挑戰

資料極度不平衡（詐欺可能僅佔 0.1%）、即時性要求高（毫秒級）、多型態資料並存（數值／文字／影像／時序）、以及商業端要求可解釋（「為何這筆被標記」）。

三類方法

類別	方法	判定邏輯	注意事項
統計法	Z-score	(觀測值 − 平均) ÷ 標準差；常以 \|Z\| ≥ 3 為門檻	假設近似常態；平均與標準差本身會被極端值污染
	IQR 法	超出 Q1 − 1.5×IQR 或 Q3 + 1.5×IQR	基於分位數，對極端值穩健
	移動視窗指標	時序中滑動視窗的均值／標準差偏離程度	適合串流
密度與距離	Local Outlier Factor（LOF）	比較該點與 k 個鄰居的局部密度，密度明顯偏低者為異常	能抓出「全域看起來正常、但在所屬局部群中格格不入」的點
	KNN Anomaly Score	到最近 k 個鄰居的平均距離，越遠越異常	高維度下會退化
樹模型	Isolation Forest	隨機切分建樹，異常點因特徵獨特更容易被隔離，平均路徑長度較短	方向不可寫反：路徑短 = 異常
	Random Cut Forest（Amazon）	Isolation Forest 的改良，強化對資料流的支援	雲端串流場景

評估與流程上的三個關鍵判斷

Z-score 的正負代表方向：Z = −2 是「低於平均 2 個標準差」，Z = +2 才是高於；絕對值才代表偏離程度。門檻 |Z| ≥ 2 或 ≥ 3 是人為設定，Z = 2 是否算異常要看門檻而定。
有可靠標註時，監督式二元分類完全可以做異常偵測，分群與離群值偵測反而是「缺乏標註時」的替代方案。宣稱「異常偵測只能用非監督方法」是錯的。
不平衡下不能只看 Accuracy：0.05% 正例的資料，全部預測為正常就有 99.95% Accuracy。必須呈現 Recall 與 PR-AUC，並依商業目標調整決策門檻。

工具：PyOD（整合多種演算法、適合原型比較）、Spark MLlib + Streaming（分散式即時）、Elasticsearch ML module（日誌與時序異常）、AWS SageMaker／Azure ML（雲端訓練與部署）。

35.12 官方考過什麼

計數基準： 以 data/study_guide_ref/L22_official_questions.md 收錄的 114-2 與 115-1 共 100 題為母體，逐題檢視題幹或選項是否直接涉及本知識點所列的分析方法（近似統計、分群、分類與決策樹分割準則、迴歸選型、關聯規則與推薦系統、時序、文字、圖／網路、地理、異常偵測），不含僅在解析中順帶提及者；題組題以「題」為單位計。依此基準，核心相關共 23 題（114-2 佔 11 題、115-1 佔 12 題），另有 3 題與其他知識點邊緣重疊。

題號	考點	怎麼問	正解思路
114-2 第10題	異常偵測的適用情境	四個情境選一個「最適合異常偵測」	選「即時偵測與平常明顯不同的可疑交易」；預測供貨短缺／登入量是時序預測，違約預測是分類
114-2 第11題	大數據即時架構	上萬台 IoT 裝置即時監控要用什麼組合	大數據平台 + 即時分析技術；傳統 RDB 擴展性與即時性都不足
114-2 第14題	吉尼不純度計算	A、B 各 5 筆，問「正規化吉尼不純度」	比例皆 0.5 → 原始 Gini = 1 − (0.5² + 0.5²) = 0.5，已是二分類上限；正規化後 0.5 ÷ 0.5 = 1，代表完全混雜
114-2 第16題	Z-score 計算與門檻	均值 2000、標準差 400、某筆 3200，門檻 \|Z\|≥3	(3200−2000)/400 = 3，恰達門檻，標記為異常
114-2 第26題	關聯規則指標判讀	給 Support 12%、Confidence 50%、Lift 1.8，問哪個推論正確	Confidence 50% 代表前項族群有明顯傾向；Lift 1.8 > 1 是正向關聯不是無關；12% 不代表互斥
114-2 第27題	近似分位數的目的	上億筆交易為何用 Approximate Quantile	在可容忍誤差內快速估算以支援即時分析；不是用 ML 預測、也不是只能批次
114-2 第28題	DBSCAN 失效原因	500 維資料上全部點被判為 Noise	高維下距離趨同使 ε 失效；不是 MinPts 太小（那反而更易成群）
114-2 第33題	厚尾風險建模	報酬率非對稱、多次極端損失，不依賴常態假設	分位數迴歸聚焦尾端分位；裁剪到 ±3σ 等於刪掉關鍵風險事件
114-2 第34題	屬性圖建模	「按讚」含時間戳記與裝置類型該怎麼存	建成邊，把行為資訊存為邊的屬性
114-2 第35題	知識圖譜模型	要語意查詢與關聯推理	RDF 三元組（Subject–Predicate–Object）
114-2 第41題	分群演算法辨識	由虛擬碼辨認演算法	「指定 K、隨機初始化質心、反覆指派並更新質心」= K-means
115-1 第2題	吉尼不純度定義	附圖給出公式，問四個敘述何者不正確	pᵢ 是「該節點內第 i 類的樣本比例」，必須先除以節點總樣本數，不能把樣本數直接代入；k 是類別數、值越高越混雜、全純為 0 三者皆正確
115-1 第5題	Z-score 方向判讀	監控門檻 \|Z\|≥2，某特徵 Z = −2	低於歷史平均 2 個標準差，已達告警門檻（資料漂移徵兆）
115-1 第16題	SVD 的數學性質	對使用者-商品評分矩陣做 SVD／LSA，問何者不正確	「SVD 只能分解方陣」是錯的——SVD 適用任意 m×n 矩陣，受限於方陣的是 EVD；截斷 SVD 降維、PCA 為 SVD 特例、LSA 用於詞-文件矩陣三者皆正確
115-1 第18題	三指標定義	Support／Confidence／Lift 何者敘述正確	Lift = 1 獨立、<1 負相關、>1 正相關，值域 [0, ∞)，並非越大越好
115-1 第19題	Apriori 手算	8 筆訂單、最低支持度 3，求最大頻繁項目集	先刪單品不達標者，再算二項集；答案是達標且品項數最多者，不是支持度最高的單品
115-1 第21題	分散式統計	10 億筆在 Spark 上算標準差	用 `agg({'col':'stddev'})` 由各 Executor 算局部統計量再彙總；`collect()` 必 OOM，全域 `sortBy` 是多餘 shuffle
115-1 第22題	時序切分與建模	500 門市、14 天銷售預測，含週週期與年季節性	依時間切分 + 前進式驗證 + 時間／滯後／滾動特徵 + 節日與事件；隨機切分會洩漏，刪節日等於丟掉高峰
115-1 第33題	多類別分類選型	8 類、數十萬筆、要訓練效率與線上部署	多類別羅吉斯迴歸（Softmax）；SVM One-vs-One 要 28 個分類器成本過高
115-1 第34題	需要機率輸出	二元分類且要 P=0.73 這種可解釋機率	羅吉斯迴歸；線性迴歸與決策樹迴歸輸出無 [0,1] 限制
115-1 第40題	分類演算法辨識	由虛擬碼辨認演算法	「算距離、排序、取前 K、多數決」且不建模 = KNN（惰性學習）
115-1 第43題	不平衡評估陷阱	0.05% 外掛、Accuracy 99.95%，哪個質疑不合理	「異常偵測不可用分類模型」是錯的一概而論；有標註時監督式分類正是常見作法
115-1 第44題	決策門檻調整	「零容忍、寧可錯殺不可放過」該怎麼調門檻	降低門檻以最大化 Recall；提高門檻是衝 Precision，方向相反

邊緣重疊 3 題： 114-2 第24題（多來源非結構化資料處理策略，主軸在資料治理）、115-1 第17題（ICU 時序資料的缺失、感測器漂移與分組交叉驗證，主軸在資料前處理）、115-1 第29題（以折線圖呈現延遲隨時間變化，主軸在資料視覺化）。

35.13 易錯與陷阱

Lift = 1 才是「兩者獨立」，Lift > 1 才是正相關，不是「Lift 大於 0 就代表有關聯」；Lift < 1 是負相關，值域是 [0, ∞) 而不是 [0, 1]。
Confidence 高不等於規則有價值，不是「Confidence 越高規則越好」；若後項本身就極普及（如九成訂單都買塑膠袋），Confidence 可以很高但 Lift ≈ 1，等於沒有資訊。
Lift 極高也不等於值得採用，不是「Lift 越大越優先上架」；極高 Lift 常伴隨極低 Support，是罕見組合的統計噪音。三個指標要一起看。
Support 是 P(A∩B)、Confidence 是 P(B|A)，不是反過來；Lift 是對稱的（A→B 與 B→A 相同），Confidence 不對稱。
Apriori 剪枝依據是「非頻繁項目集的所有超集必不頻繁」，不是「頻繁項目集的超集也頻繁」；{B}、{E} 各自頻繁時，{B,E} 仍可能不達門檻。
FP-Growth 是不產生候選集、通常只掃兩次資料庫的另一套演算法，不是 Apriori 的參數選項；Spark MLlib 內建的是 FP-Growth。
ARIMA 裡的 MA 是「殘差的移動平均」，不是「觀測值的移動平均」；後者是 35.7 開頭的平滑方法，兩者同名但不同物。
移動平均是等權重視窗、指數平滑是權重指數衰減，不是反過來；要「對近期變化更敏感」選指數平滑。
時間序列必須依時間順序切分並用前進式驗證，不是隨機 80/20；隨機切分會讓未來資料進入訓練集造成資料洩漏。
節日與颱風等事件要當成外生變數納入模型，不是當離群值刪掉；那些高峰正是預測的目標。
DBSCAN 在高維度下全部判成雜訊，是因為距離趨同使 ε 失效，不是因為 MinPts 設太小；MinPts 調小只會讓群更容易形成。
K-means 要先指定群數且假設群近似球形、對尺度與離群值敏感，不是「能自動決定群數」；能不指定群數的是 DBSCAN 與階層式。
輪廓係數的值域是 [-1, 1]，不是 [0, 1]；負值代表該點可能被分錯群。
Isolation Forest 中異常點的平均路徑長度較「短」，不是較長；異常因為特徵獨特而更早被隔離出來。
Z-score 的負號代表低於平均，不是「負值就無法用常態分佈解釋」；Z = −2 是低於平均 2 個標準差，|Z| = 2 約落在雙尾 5% 的罕見但合理範圍。
IQR 法的界線是 Q1 − 1.5×IQR 與 Q3 + 1.5×IQR，不是「平均 ± 1.5 個標準差」；前者基於分位數所以對極端值穩健。
近似分位數是在可容忍誤差內快速估算，不是「用機器學習模型預測分位數」，也不是「只能對結構化資料做批次處理」——它正好適合串流。
Count-Min Sketch 的頻率估計只會高估不會低估，不是「誤差可正可負」；雜湊碰撞只會把別的項目計數疊加上去。
極度不平衡下 Accuracy 幾乎沒有判別力，不是「Accuracy 99.9% 就代表模型好」；應改看 Recall 與 PR-AUC。
降低決策門檻會提高 Recall、犧牲 Precision，不是反過來；「寧可錯殺不可放過」要調降門檻，不是追求 Specificity 100%。
有可靠標註時，監督式分類可以做異常偵測，不是「異常偵測只能用分群或離群值方法」；非監督法是缺標註時的替代方案。
Betweenness 衡量作為最短路徑橋樑的頻率、Degree 衡量直接連結數，不是同一件事；粉絲最多的人未必是資訊的必經中介。
Closeness 高代表到其他節點的平均最短路徑「短」，不是長；它反映的是傳播效率而非孤立程度。
「按讚」這類帶屬性的互動應建模為邊並把屬性掛在邊上，不是建成獨立節點、也不是寫進使用者節點屬性（後者會遺失與特定貼文的對應）。
詞幹提取（Stemming）是機械截斷、結果可能不是真實單字；詞形還原（Lemmatization）查詞典並考慮詞性，不是可以互換的同義詞；ran → run、better → good 這類不規則變化通常要靠詞形還原。
TF-IDF 值高的詞是「本文件常見但語料罕見」，不是「出現次數最多」；出現次數最多的往往是停用詞，IDF 低反而被壓下去。
Word2Vec／GloVe 是靜態詞向量，一詞一向量，不是能隨上下文變動；能依上下文產生不同向量的是 BERT 這類 Transformer 模型。
羅吉斯迴歸（Logistic Regression）雖然叫迴歸，做的是分類且輸出校準機率，不是預測連續值；線性迴歸的輸出可能超出 [0,1]，不能當機率用。
KNN 是惰性學習，成本集中在預測階段，不是「訓練慢、預測快」；它在訓練時幾乎不做事。
吉尼不純度的 pᵢ 是「該節點內第 i 類的樣本比例」，且 Gini 越小越純，不是樣本數、也不是越大越純；把 5、5 這種樣本數直接代入會得到 1 − (5² + 5²) = −49，整個跳出 [0, 1] 值域。完全純的節點是 Gini = 1 − 1² = 0。
二分類兩類各半時「原始」Gini = 0.5（該類別數下的最大值），除以最大值後的「正規化」吉尼不純度才是 1，兩個數字不可互相代用；另外決策樹挑的是「加權平均不純度下降最多」的切法，權重為子節點樣本占比，不是把子節點 Gini 直接平均。
SVD 適用任意 m×n 矩陣，只能用在方陣的是 EVD（特徵值分解），兩者別對調；使用者-商品評分矩陣的使用者數與商品數幾乎不相等，正因如此推薦系統用的是 SVD。
協同過濾依據「使用者行為」、內容式過濾依據「商品屬性」，不是反過來；協同過濾在新使用者與新商品上會遇到冷啟動問題，常靠內容式或混合式補。PCA 雖可用 SVD 實作，但 PCA 多了「必須先中心化」這一步，不能說兩者完全等價。
GWR 是讓迴歸係數隨地點變化以處理空間異質性，不是「把經緯度當兩個普通特徵丟進一般迴歸」。
分散式環境算全域統計量要用聚合（各節點算局部再彙總），不是 collect() 回 Driver 或先做全域排序；前者必然 OOM，後者是不必要的昂貴 shuffle。

延伸練習

L22 主題庫 290 題：重點刷「關聯規則指標判讀」「時序切分與驗證」「異常偵測方法比較」「分群／分類選型」四類，這四類在本知識點的出題密度最高；決策樹不純度與矩陣分解各只考過少數幾題，但都是純記憶題，投報率高。
L22 歷屆 100 題：先依 35.12 的 23 題核心清單全部做過一輪，再回頭把 3 題邊緣重疊題（114-2 第24、115-1 第17、115-1 第29）與 L22301、L22303 一起複習，避免在「這題到底屬於哪個知識點」上浪費判斷時間。