AI Agent 上線前要檢查什麼：把金管會六大原則變成一張九格表
金管會的「金融業運用人工智慧（AI）指引」寫了六大原則：治理與問責、公平性與以人為本、隱私與客戶權益、系統穩健與安全、透明與可解釋、永續發展。原則寫得很清楚，但「一顆 AI 上線前，到底要檢查什麼」，沒有人說得清楚。這篇整理我設計上線前檢核機制的思路。
一、原則要先拆成可以檢查的對象
原則是監理的語言，檢查需要具體的對象。我把它拆成三層：
- 文件：流程有沒有走、文件有沒有留、誰批准的。
- AI 的產出：答案準不準、公不公平、會不會洩漏、說不說得出依據。
- AI 的行為：查了什麼資料、動了什麼、有沒有越權。
盤點下來，行內的既有制度只填得出第一層，第二、三層完全空白。這就是檢核機制要補的缺口。
二、八項查核事項，其實只問三件事
檢查局的八項查核事項拆開來看，只問三個問題：
- 上線前評估過嗎？
- 留下紀錄了嗎？
- 上線後還在管嗎？
三層乘三問，就是九格。一顆 AI 上線前，把九格填滿並留下證據，就算通過檢核。
三、接在既有流程裡，不另起爐灶
新的機制如果要大家多走一條流程，很快就會被跳過。所以檢核接在既有流程的「風險評鑑」之後、「核准」之前，共五個步驟：
- 判定這顆 AI 要不要做檢核。
- 訂這顆 AI 的規則。
- 準備測試集。
- 實際驗證。
- 出報告送審。
四、四種 AI，四種測法
- 對話型：出題測回答。
- 判斷型：用已知答案的樣本，測準確率與不同族群的一致性。
- 生成型：抽樣比對原文。
- 評分型：和人工評分比對。
測法不同，通過標準卻只有一條：嚴重錯誤零次。
五、業務規則講清楚，護欄才擋得住
檢核最花時間的，不是寫測試，而是讓業務單位回答問題：貸款助理的議價授權到哪？智能徵審的人工覆核比例幾成？智富管家能不能碰交易？這些答案決定了「什麼是錯」。沒有它們，護欄不知道要擋什麼，測試也不知道要測什麼。
六、寫進制度，才會持續
最後一步是把機制寫進「人工智慧技術生命週期管理要點」的一章：進入 SIT／UAT 時啟動，沒有檢核報告就不能進正式環境。之後每一顆新的 AI，只要填兩件事：這顆 AI 的規則，以及業務場景的測試集。
學到的事
設計檢核機制時，我最在意的是「可以沿用」。第一顆 AI 要把框架、測法與通過標準建起來，成本最高；但只要框架穩定，第二顆之後，工作量就只剩規則與測試集。