AI 營運成效怎麼看：一張 Dashboard 回答「AI 值不值得」
銀行導入 AI 的第一年，大家問的是「上線了沒」；到了第二年，問題會變成「值不值得」。這時候才發現，手上有一堆數字：授權數、登入次數、Token 帳單，卻沒有一張表能回答這個問題。這篇整理我參與設計 AI 營運成效 Dashboard 時，用的指標框架。
一、先問 Dashboard 要回答什麼
設計 Dashboard 最常見的錯誤，是先把拿得到的數字都放上去。數字越多，越看不出重點。我的做法是反過來：先定一個問題，再找能回答它的數字。
AI 營運成效 Dashboard 只要回答一個問題：這筆 AI 投資，值不值得？
二、五個面向
要回答「值不值得」，需要五個面向的數字：
- 採用：有沒有人在用？授權數、啟用率、活躍使用者、部門覆蓋率。
- 品質：用得好不好？回答正確率、轉人工率、使用者回饋。
- 效益：省了什麼、多了什麼？節省工時，以及處理量、轉換率這類業務指標。
- 成本：花了多少？授權費、Token 用量、GPU 算力。
- 風險：安不安全？護欄的漏放率與誤擋率、異常事件。
效益減去成本，再扣掉風險，才是 AI 的真實成效。少了任何一個面向，結論都會偏掉。
三、採用不等於成效
採用率是最容易拿到、也最容易誤導的數字。「25 個處室全數申請、共 771 套」聽起來很好，但它只說明了「有人拿到、有人打開」，沒說明「有人因此把工作做得更好」。
所以我把五個面向分成兩段：採用與品質，回答的是「有沒有在用」；效益、成本與風險，才回答「值不值得」。Dashboard 的第一頁應該放後者，前者是用來解釋原因的。
四、對內工具：先用原廠報表
對內的 AI 工具，例如 Copilot 和 Gemini，採用數據不需要自己蒐集，原廠的管理報表就有：
- Microsoft Copilot Dashboard：分成準備度、採用、影響、使用者感受四類指標，可以看到授權與啟用狀態，以及各應用程式的使用情形。
- Gemini 報表（Google Workspace 管理控制台）：提供已指派的授權數、活躍使用者，以及使用人數隨時間的變化。
原廠報表的限制是：它看得到「用了多少」，看不到「業務因此改善了多少」。效益的部分，還是要從業務端補上，例如抽樣訪談或任務計時，估算節省的工時。
行內自建的工具（例如艾拉小幫手）沒有原廠報表，第一步是取得後台權限與原始資料，才能開始算任何指標。
五、對外 Agent：指標要接到業務成果
對外的 AI Agent 是業務服務，效益要用業務的語言衡量。我們的效益公式是：月效益＝業務量 × 單位效益 × 價值單價。套到四個 Agent：
- 貸款助理：提升轉換率。
- 智能徵審：提升處理量、節省工時。
- 客服助理：減少人工處理、降低服務成本。
- 智富管家：提升活躍度與 AUM。
成本與品質，則來自 Agent 的運行數據。常見的觀測指標包括每次請求的 Token 成本、回應延遲、錯誤率，以及自動化的品質評分。這些數據最好從 AI Gateway 或觀測平台統一收集，而不是每個 Agent 各算各的。
六、風險也是成效的一部分
一個效益很高、但會洩漏個資的 Agent，不能算成功。所以風險要和效益放在同一張表上：護欄的漏放率與誤擋率、被攔下的攻擊數、轉人工的比率、異常事件數。誤擋率尤其重要：它代表正常的客戶被拒絕了多少次，直接影響使用體驗。
七、從數字到決策
最後一步，是讓每個指標都有兩樣東西：目標值與負責人。沒有目標值，Dashboard 只能顯示數字，不能顯示「達標了沒」；沒有負責人，數字變差了也不會有人處理。
學到的事
設計這套框架時，最重要的決定不是選哪個圖表工具，而是先定義問題。只要問題定清楚，「要放哪些數字」就有了取捨的標準：回答不了「值不值得」的數字，就不放在第一頁。