AI Agent 的算力成本怎麼算：把 GPU 拆成空間與時間
銀行同時要上線四個 AI Agent：貸款助理、智能徵審、客服助理、智富管家。財務問的問題很簡單：GPU 怎麼分？預算怎麼編？難的是，這四個 Agent 的成本長得完全不一樣：有的吃地端 GPU，有的燒雲端 Token，有的只用 CPU。這篇整理我怎麼把它們放進同一張表。
一、先找共同的計算單位
不同的成本結構不能直接相加，所以第一步不是算數字，而是找一個共同的公式：
成本＝事件數量 × 每個事件消耗的資源 × 資源單價。
「事件」可以是一件徵審案件、一通客服電話，或一次理財問答。只要每個 Agent 都能說出「一個事件吃掉多少資源」，四個 Agent 就能在同一張表上比較。
二、把 GPU 拆成空間與時間
我用一棟大樓來說明算力中心：
- 空間是 GPU 記憶體，像樓板面積，決定能進駐多少 AI 模型。模型放上去就一直佔著，不會還回來，所以它是固定成本。
- 時間是 GPU 算力，像營運工時，決定能服務多少請求。一個請求跑完，算力就可以給下一個，所以它是變動成本。
空間模型有一個容易算錯的地方：KV 快取占用的記憶體，取決於「同時處理幾件」，而不是「一天處理幾件」。一天一萬件、但同時只有十件，和一天一千件、但同時有五十件，後者需要的記憶體更多。
三、三套成本模型，一套效益模型
- 容量模型：算出每個元件要佔多少空間、多少時間。
- 地端攤提模型：多個 Agent 共用的元件只算一份，再依時間佔比分攤。
- 雲端 Token 模型：業務量 × 每段旅程的 Token × 單價。
- 效益模型：業務量 × 單位效益 × 價值單價。
本行的算力池是 5 張 RTX PRO 6000，每張 96 GB，合計 480 GB、每日 432,000 卡秒。四個 Agent 的元件放進這個池子，就能看出尖峰時段會不會塞車。
四、工作量的單位，要跟著元件走
Token 看起來是最直覺的單位，但它不是每個元件都適用：
- OCR 用「頁」：同一頁密密麻麻的表格和一行標題，Token 數差十倍，掃描時間卻差不多。
- 語音辨識用「分鐘」：同一通 3 分鐘的電話，客戶講快講慢，Token 數可以差到近兩倍，GPU 耗時卻幾乎一樣。
- 語言模型用 Token：輸入與輸出的單價不同，要分開算。
以智能徵審為例：每件案件輸入 11,250、輸出 2,500 Token，以 GPT5.5 的單價假設（輸入 $2.5、輸出 $15）計算，每件約 1.92 元。再乘上逐年成長的案件量，就得到三年的 Token 成本。
五、時段也是成本
同樣的算力，放在尖峰和離峰的價值不同。智能徵審的 OCR 可以排在離峰批次執行，不佔用營業時間的算力；客服電話必須即時回應，只能放在尖峰；智富管家全天運作，兩段都佔。估算時把時段分開，才不會在尖峰時段才發現 GPU 不夠。
學到的事
成本模型最難的不是公式，而是資料。我設計的廠商資料索取表，只問地端元件的規格：模型大小、量化格式、每字佔用、同時件數，並要求附上代表性的測試樣本。問得越少、越精準，廠商回得越快，數字也越能互相比較。