DataFocus · 博客
如何估算自建 AI 分析平臺的大模型 API 費用
DataFocus OT 可免費自建,但模型服務要另外付費。本文給出一份測算表:哪些操作會呼叫模型、每次消耗多少 token,以及模型降價後如何複核估算。
估算模型費用的辦法是:只統計會呼叫模型的操作,用每次呼叫的 token 數乘以每月呼叫量,再按模型服務商的單價折算總額。DataFocus OT 本身可以免費自建,但它自己的成本說明也提到,伺服器、模型呼叫和第三方服務仍需使用方承擔,所以模型 API 是一項單獨的開支。多數分析流量根本不需要模型,因此這筆費用比乍看起來更小,也更容易劃定上限。本文給出一份測算表,你可以填入自己的呼叫量和服務商當前的價目表。
哪些環節會呼叫模型,哪些不會?
DataFocus OT 執行在你自己的伺服器上,所用的大語言模型(LLM)服務由管理員配置。費用就出在這裡:平臺是你的,模型服務則是你指向哪一家就是哪一家。如果選用外部模型,產品簡介建議先按你的資料政策確認哪些內容會發送給它。這件事最好在做預算之前定下來,因為它可能直接限制你能選哪些服務商來報價。
第二個影響估算的事實是,底層有真正的計算引擎(Flash 使用 Apache Doris,Heavy 使用 Trino 等),答案來自實際執行的 SQL,而不是語言模型估出來的數字。算術由引擎完成。模型參與時,只負責把語言翻譯成查詢,或圍繞結果撰寫說明。查詢執行消耗的是你的伺服器,不是 token。
Heavy 手冊的“資料搜尋”一章展示了這種分工。使用者選擇一張表,輸入列名和關鍵詞,例如“Sales by Region”,系統計算結果並選擇圖表。這條路徑是結構化的搜尋語句,手冊中沒有任何地方說它會呼叫模型。當輸入不是標準的列名加關鍵詞時,模型才會介入:系統請 FocusGPT 把輸入解析成搜尋語句,並彈出帶有“還原”操作的提示。對於標準語句,FocusGPT 也會在後臺解析,並可能替換原語句。所以即使是“標準”搜尋,也可能產生少量模型流量,測算表裡應該留一個很小的後臺解析項,而不是預設為零。
清單裡應該列入哪些工作負載?
列出人和系統接觸模型的所有途徑。下表前五行依據 Heavy 手冊,最後一行是為你自行接入的任何 Agent 預留的佔位項:
| 工作負載 | 模型的參與方式 | 什麼決定呼叫量 |
|---|---|---|
| 資料搜尋,標準語句 | 僅後臺解析 | 每天的搜尋次數 |
| 資料搜尋,自由輸入 | 解析成搜尋語句 | 以整句話輸入的搜尋佔比 |
| 智慧問數(FocusGPT) | 選表、查詢,並回復輸入是如何被解析的 | 每位使用者每天的提問數 |
| 研究報告,標準 | 生成報告 | 每月報告數 |
| 研究報告,深度(相容模式) | 更深入的多步分析,耗時更長 | 每月深度報告數 |
| 外部 Agent 會話 | Agent 自己的模型消耗多少算多少 | 每月會話數,每次會話的工具呼叫數 |
有兩點需要說明。第一,按手冊所述,智慧問數通常需要一兩分鐘,頁面也提示內容由 AI 生成;手冊建議把重要結論拿到資料搜尋中核對。這一步核對是一次標準搜尋,至多增加那個很小的後臺解析項,不會再產生一次完整的模型呼叫。第二,外部 Agent 的費用記在 Agent 自己的模型賬戶上,這個賬戶未必是管理員配置的那一個。要事先決定這筆開銷算在本預算裡,還是算在執行該 Agent 的團隊名下,並保留這一行,免得被遺漏。
如何搭建 token 測算表?
每個工作負載一行,再加四列,數值都來自你自己的環境。
- 每月呼叫次數(C):來自使用日誌;新部署則按人數估一個數。
- 每次呼叫的輸入 token(I):問題、schema 或表上下文,以及各類指令。
- 每次呼叫的輸出 token(O):解析出的語句或寫出的回覆。
- 每個任務的呼叫次數(K):單次解析為 1,多步報告和 Agent 迴圈則更高。
每一行的月成本為 C × K × (I × 輸入單價 + O × 輸出單價),單價取自服務商當前的價目表,按每 token 計。把各行相加即可。服務商通常對輸入和輸出分別定價,所以這兩項要分成兩列。
下面是一個示意性的、未實際執行的例子。假設一個 40 名分析師的團隊,每天 200 次自由輸入搜尋,每月約 22 個工作日,則 C 為 4,400 次解析呼叫。如果一次解析呼叫約為 1,500 個輸入 token 和 100 個輸出 token(這是假設,不是實測),這一行每月就是 660 萬個輸入 token 和 44 萬個輸出 token。智慧問數這一行可以設為 600 次提問,每次的上下文更大。深度報告這一行可以設為 30 份報告,K 取 8 步。請注意起主導作用的是什麼:不是呼叫量大的解析行,而是 K 高、上下文長的行。在這類測算表裡,通常是少數幾份報告的消耗超過成千上萬次解析搜尋,所以應當先去測這些行。
在給出最終數字之前,加上三項餘量:
- 重試與失敗:按固定的 10% 到 20% 留餘量是常見的規劃做法,有了日誌之後再調整。
- 上下文增長:加入的表越多,schema 越寬,每次呼叫的輸入 token 也隨之增加。
- 使用量增長:新使用者在最初幾個月提問更多。給出低、預期、高三種情景,而不是一個單一數字。
價格走勢和模型檔位如何影響估算?
Epoch AI 在 2025 年 3 月釋出的大模型推理價格趨勢(英文)資料洞察發現,在固定效能水平下,推理價格每年下降的幅度從 9 倍到 900 倍不等,取決於所選的效能里程碑。這個範圍很寬,而且衡量的是固定能力水平上的價格,不是某一家服務商的標價,所以不能當作你賬單的預測。不過它支援兩個規劃習慣。
第一,不要把三年的預算鎖定在今天的價目表上,續約或更換模型時重新給測算表報價。第二,既然價格下降發生在同一能力水平上,今天的低價檔往往相當於一兩年前高價檔的水平。把一句話解析成搜尋語句是個很窄的任務,所以在給每一行都配上最強模型之前,先測試較小、較便宜的模型能否勝任。更強的檔位留給深度研究報告,那裡多步分析才是重點。由於手冊沒有說明可以按功能選擇模型,應把模型服務當作部署層面的選擇,並在正式決定前,用一份真實問題的副本來測試取捨。
許多團隊適用的一條決策規則是:每一行都先用低價檔,只有當評審人否決了某一行的輸出時才升級,並記錄原因。
如何監控支出並複核估算?
估算只有與實際資料對照才有用。
- 用服務商的用量面板或按 API key 的報表檢視每天的 token 數。給分析平臺單獨配一個 key,避免它的支出和其他專案混在一起。
- 第一個月結束後,把實際的每次呼叫 token 數與你假設的 I 和 O 對比,並修正測算表。
- 按月預算的某個比例設定支出告警;如果服務商支援,再設一個硬性上限。
- 檢視自由輸入與標準搜尋的佔比。如果很多使用者習慣輸入整句話,可以做一次簡短培訓,教大家用標準的列名加關鍵詞搜尋,這樣既減少解析呼叫,得到的結果也可以直接核驗。
- 每季度重新做一次價格對比,以上述趨勢作為複查的理由。
這種方法的侷限
這份測算表假設你能從服務商那裡讀到 token 數。如果多個團隊共用一個模型閘道器,要歸屬到各團隊就需要額外的工作。外部 Agent 是最難估的一行,因為它的迴圈取決於 Agent 自身的設計,所以把這一行當作一個區間,並優先盯住它。最後,手冊沒有給出任何功能的每次呼叫 token 數,因此上文所有的 I 和 O 數值都需要你自己測量。
下一步
兩個版本都可以免費下載和自建;下載頁列出了它們,各版本的發行說明列出了系統要求和支援的平臺。DataFocus OT 產品簡介介紹了自建模式和底層引擎。