AI 代理平台怎麼選：在採購前用實測找出 12 個問題
四大 AI Agent 需要一個平台來建置與管理，候選的是 Agatha 和開源的 Dify。選錯平台的代價很高：做到一半才發現少了關鍵功能，或上線後才發現資安漏洞。這篇整理我怎麼設計這次的選型 PoC。
一、評測要回答的問題
選型評測最常見的做法，是拿一張功能清單逐項打勾。但功能多，不代表在我們的場景裡不會出事。所以這次 PoC 要回答的問題是：哪個平台在我們的場景裡不會出事？
二、依平台拆模組，不抄別人的清單
評測 Dify 時，我先讀官方文件，把它拆成五大功能模組：Knowledge Pipeline（RAG 資料處理）、Workflow、Agent、Plugins 與 MCP、發布與監控，再依模組設計測試。別的平台的測試清單，問的不一定是這個平台的問題。
三、先查真實使用者踩過的坑
官方文件寫的是平台能做什麼；GitHub 上的回報，寫的是平台實際上哪裡會壞。我先整理了和我們情境有關的真實回報：
- Excel 上傳後內容是空的。
- PDF 裡的表格被忽略。
- 跨頁的句子被切成兩段。
- Workflow 模式下，引用來源不穩定。
每一項都先準備好因應方式，測試時就知道要特別盯哪裡。
四、用自己的資料測，問題標上嚴重度
Dify 的 34 項測試分成兩層。基本測試用本行的法規輔助檢核 QA（238 題）與裁罰 QA（119 題），測知識庫的匯入、解析、檢索，以及回答的準確性、引用來源與防幻覺。進階測試涵蓋 Workflow、Agent、多模型管理、MCP 工具擴充、權限治理（RBAC、防注入）、維運監控、效能與穩定性。
Agatha 的 26 項實測裡，每一個問題都標上嚴重度：阻斷、資安或一般。最後找出 12 個問題，其中 4 個會讓 Agent 無法上線、1 個是資安漏洞。
嚴重度比問題數量重要。12 個一般問題可能都可以接受，但 1 個阻斷問題，就足以改變選型結果。
五、同一把尺比較
兩個平台都用同一套評分表比較：部門內部的評分表，以及金控提供的 9 大類 42 項評分表。評分表一致，選型決策才有可以並排比較的依據。
學到的事
這次 PoC 最大的價值，是這些問題在採購前就被找到，而不是在 Agent 上線之後。PoC 的目的不是證明平台很好，而是在還來得及改變決定的時候，找出它哪裡不好。