DataFocus · 博客
OT Flash 用哪個大模型?如何管控模型成本與資料出口
OT Flash 沒有內建指定模型,由管理員配置大模型服務,這個選擇決定哪些資料會離開你的網路,也決定模型賬單的樣子。本文介紹管理介面、資料出口決策和每月復盤的習慣。
OT Flash 不自帶固定的模型。根據 OT Flash r57 使用者手冊(英文),管理員配置好大語言模型服務之後,才能使用本體 Agent,所以用哪個模型、模型跑在哪裡,由你決定。這個選擇同時決定了標題裡的兩個問題:哪些資料會離開你的網路(取決於所配置的服務會收到什麼),以及模型要花多少錢(取決於該服務按 token 如何計費)。同一份手冊還介紹了一個管理介面“裝置授權”(Device authorization),顯示 AI 模型每日和每月的 token 消耗,這給了你一個每月可以復盤的數字。本文介紹這些設定在哪裡,以及如何把它們變成成本和資料出口的決策。本文不推薦任何廠商或模型,因為資料中沒有點名。
OT Flash 內建模型嗎?
文件沒有這樣說。手冊只給出一個前提:管理員在系統中配置好 LLM 服務之後,本體 Agent 才能工作。手冊還提到,一次回答通常需要幾十秒,複雜問題更久。產品簡介從更高的層面說了同樣的事:DataFocus OT 是自建部署的,大語言模型服務由管理員配置,使用外部模型時,客戶應按自己的資料政策確認傳送給模型的內容(DataFocus OT 產品簡介,英文)。
對決策者來說,這意味著兩點:
- 已釋出的資料沒有把 Flash 繫結到某個廠商或模型,本文也不會。把模型當作你要選的元件,而不是隨產品得到的功能。
- “自建”說的是應用跑在哪裡,不等於模型跑在哪裡。如果你配置的服務由第三方託管,那麼應用在本地,模型呼叫則不在本地。
在哪裡配置?
在 r57 手冊中,系統級設定位於 Admin > Configure。它的子標籤包括 Base Configure、Prompt Management、Custom Ai、Functional cropping、SSO 和 Email Template 等。手冊的標籤頁列表沒有說明哪個子標籤頁放置 LLM 服務,所以請先在你自己的例項上檢視 Custom Ai。
手冊列出了預置角色,其中 SYSTEM_MANAGER 被描述為負責全域性配置以及使用者和角色管理。所以實際的第一步,是確定由哪位具名人員持有該角色來管理模型設定。本文不復述任何模型服務欄位。請到手冊第 13 章閱讀你所用版本的說明,並以你自己例項上看到的為準。
首次配置的簡要步驟:
- 在任何人開啟模型設定之前,先確定資料出口等級(見下一節)。
- 由持有 SYSTEM_MANAGER 角色的管理員在 Admin > Configure 下的系統設定中配置 LLM 服務(先從 Custom Ai 看起)。
- 開啟本體工作臺,向 Agent 提一個關於非敏感樣例資料的問題。如果 Agent 能正常工作,說明服務可達;如果不能,先檢查手冊寫明的前提條件(已配置 LLM 服務)。
- 開啟 Admin > Device authorization,記下每日和每月的 token 數字,作為起始參考點。
如何決定哪些資料可以出去?
DataFocus 網站上的部署清單列出了本地部署前需要確定的事項:使用範圍、作業系統與架構、容量、資料授權、模型選擇、資料出口和備份歸屬。模型選擇和資料出口是兩條獨立的條目,這提醒我們它們是兩個獨立的決策。一個模型可能很便宜,但你的資料不能用;也可能資料能用,但價格很高。
要把資料出口的問題說具體,先看 Agent 能看到什麼。手冊說,本體 Agent 引用的資料來自繫結到該本體的資料表和文件,而“檢視處理詳情”(View processing details)連結會顯示 Agent 查詢了哪些資料、呼叫了哪些工具。Agent 也會讀取本體的文件。這些都是可能進入模型請求的材料。手冊沒有公佈每次請求的具體內容,所以穩妥的理解是:繫結到本體的任何內容,都可能被模型看到。
下面是可作為策略起點的資料出口等級(示意,並非 DataFocus 功能):
| 等級 | 含義 | 適用情況 |
|---|---|---|
| A:模型在你的網路內 | 所配置的服務執行在你控制的基礎設施上 | 本體的資料表或文件中有按政策必須留在本地的資料 |
| B:外部模型,限定本體範圍 | 使用第三方服務,但只有用你已批准對外的資料構建的本體才可使用 | 資料敏感度不一;你可以按業務主題拆分本體 |
| C:外部模型,通用使用 | 第三方服務,本體內容範圍較廣 | 主要是公開或低敏感度的材料 |
本體是圍繞一個業務主題的知識空間(資料表、文件、指標),所以按主題拆分,就為這些等級提供了天然的劃分單位。這是根據手冊對本體的定義得出的設計建議,不是文件中記載的資料出口控制功能。
如果你通過 MCP 接入外部 Agent,還有第二條資料出口路徑需要審查。在這條路徑上,由你選擇的客戶端(產品簡介提到了 Claude Code 等客戶端)位於資料前面。查詢結果以依據行的形式返回給該客戶端,客戶端背後的模型能看到客戶端放進其上下文的所有內容。手冊把該客戶端可訪問的範圍限定為外部 Agent 設定、具體的 OAuth 授權和資源編輯許可權三者的交集,所以可觸達的資料受許可權約束。這些資料最終去向哪裡,仍然由你決定:網站上的接入指引要求檢查資料去向、認證、令牌範圍和撤銷。手冊還建議只記錄必要的關聯資料,不要記錄令牌或完整的敏感內容。
如何監控 token 消耗?
手冊中說,Admin > Device authorization 顯示裝置許可資訊,以及 AI 模型每日和每月的 token 消耗。手冊沒有介紹許可等級或價格,本文也不介紹。
有了每日和每月的數字,你可以這樣用:
- 在固定日期記錄月度數字,逐月比較。
- 圍繞你能說出名字的事件檢視每日序列:某個新本體上線、某個團隊開始使用 Agent、有人開始生成指令碼。
- 把這個數字與模型提供方自己的賬單或用量報告對照。手冊只說明瞭這個介面顯示什麼,沒有說明數字如何計算,也沒有說明是否與提供方的計費單位一致,所以涉及金額以賬單為準,涉及趨勢以介面為準。
哪些功能會用到所配置的模型?手冊寫明瞭本體 Agent 的前提條件,還介紹了產品內的 AI 輔助操作,例如根據描述起草執行指令碼,以及生成或修改控制面板草稿。資料沒有說明其中哪些會計入 token 數字,所以請先在你的例項上確認,再假定這個介面涵蓋所有 AI 功能。如果你還通過 MCP 執行外部客戶端,該客戶端自己的模型用量由客戶端模型所在的地方計費,不在這個介面之內。
下面是一份假設的月度復盤表(示意,未實際執行,也沒有真實數字):
| 月份 | 當月 token(介面) | 提供方賬單 | 值得注意的變化 | 負責人備註 |
|---|---|---|---|---|
| (填寫) | (來自 Device authorization) | (來自提供方) | (新本體、新團隊等) | (接受 / 調查) |
模型價格下降,這個問題就不存在了嗎?
部分是,但證據有限。斯坦福 HAI 的 2025 年 AI Index 報告(英文)指出,達到 GPT-3.5 水平的系統,其推理成本在 2022 年 11 月到 2024 年 10 月之間下降了 280 多倍。這說的是某一個能力水平在某一段時期內的情況。它無法預測你明年選的模型的價格,也沒有說到用量:更多人問更多問題時,用量會上升。單價下降與提問次數上升,可能讓賬單朝相反方向變化,所以即使價格下降,也值得保留每月復盤。
還有哪些成本由你承擔?
DataFocus 網站對此說得很直接:免費自建仍然需要基礎設施、模型 API、第三方服務和運維支援,“伺服器、模型呼叫和第三方服務由你付費”。下載頁(英文)補充說,社群版許可不包含伺服器、模型呼叫或運維。所以模型費用只是你要承擔的若干項之一。此外還有執行 Flash 的伺服器,以及負責運維的人。資料中沒有給出容量規劃資料,本文也不給。
這種做法不夠用的情形
- 如果你的政策要求證明每次模型請求究竟包含什麼,已釋出的資料沒有介紹模型服務的逐請求內容記錄。在做決定之前,請通過支援工單詢問 DataFocus,或在你的例項上自行驗證。
- 如果你需要一張涵蓋應用和模型的統一對賬賬單,Device authorization 的數字是用量檢視,不是賬單。
- 如果你想要廠商推薦,這裡沒有。資料中沒有點名任何經過認證或內建的模型。
下一步
閱讀 OT Flash r57 使用者手冊(英文)的 Admin 章節,瞭解你所用版本中的 Configure 和 Device authorization 標籤頁,然後在第一個本體上線之前,與你的安全負責人一起確定資料出口等級。產品簡介(英文)用一頁紙介紹了自建部署模式。