DataFocus · 博客
容量評估訊號:你的工作負載該選 OT Flash 還是 OT Heavy?
DataFocus 公開了參考節點和許可政策,但沒有容量對照表。這份清單把已公開的事實轉成你可以自己採集的指標,幫你在 Flash 與 Heavy 之間做選擇。
想在輕量部署和分散式部署之間做決定,廠商的容量對照表幫不上忙,因為容量取決於你自己的工作負載。下載頁寫的是“Plan for your data scale and workload”(按資料規模和工作負載規劃),系統要求與支援平臺則寫在各版本的發行說明裡,隨安裝映象一起釋出在下載頁,以及 OT Flash 和 OT Heavy 兩個 GitHub 倉庫中。所以估算要你自己做:測出資料量(含副本)、併發使用者數、資料需要多久重新整理一次,以及你是否需要 ETL、是否已經在執行 Hadoop。如果這些指標在一個節點上有富餘,又不需要資料管道,就從 OT Flash 開始;如果放不下,或者你已經在運維 Hadoop 類平臺,就看 OT Heavy。
DataFocus 實際公開了什麼?
與容量相關的公開事實只有三條。本文其餘內容都是幫你採集自己資料的方法。
| 已公開的事實 | 出處 | 沒有說明的內容 |
|---|---|---|
| 資源規劃指引寫的是“Plan for your data scale and workload” | 下載頁(英文) | 各版本的具體要求,這些寫在各版本的發行說明裡 |
| 社群版執行在單節點上,使用者數不限,無許可費用;企業版訂閱增加多節點與叢集部署 | 下載頁 | 企業版的費用,以及任何容量數字 |
策略 DATAFOCUS_FREE_1DNU_GROWTH_V1:在本地硬性限制下,每個節點 1 個活躍的 DataFocus Node Unit | releases.json | DNU 除了“按節點”之外具體衡量什麼 |
兩個版本的系統要求和支援平臺都列在發行說明裡。版本頁要求你以版本自帶的文件為準確定許可、服務範圍和節點定義,並圍繞資料量、併發和模型需求來做規劃。
為什麼 Flash 以單節點為起點?
OT Flash 使用 Apache Doris 同時作為記憶體計算引擎和資料倉儲。DataFocus 把它定位給這樣的團隊:想快速跑通一個業務域,資料能放進同一個分析引擎。社群版許可是單節點許可,再加上每節點 1 個 DNU 的策略,文件中的免費路徑就是一個節點上跑一個引擎。
看儲存大小時要仔細:壓縮、副本、文件索引和快照都會改變一個節點能容納多少源資料,所以不要把任何磁碟大小當成資料上限。
OT Heavy 則被描述為延續 Hadoop、Hive、Trino 和 Iceberg 的架構,並內建 ETL 與 AutoML,適合資料量大、已有大數據平臺、需要資料管道和建模的企業。
哪些指標需要你自己測?
選版本之前先採集這些指標。它們都沒有 DataFocus 給出的閾值,所以判斷規則是“在試點中驗證,一個節點是否放得下並留有餘量”。
- 看落盤大小,不看原始大小。 統計第一個業務域要匯入的表,再加上要建索引的文件。假設場景,僅作示意,未實際執行:某個業務域有 400 GB 源表和 50 GB 文件,在計入任何引擎開銷之前就是 450 GB。接著你需要在樣本上測試壓縮效果,並拿這個數字和你打算配置的磁碟對比,然後才能下結論。
- 副本數。 分散式儲存會成倍放大儲存位元組數。Apache 的 HDFS 設計頁寫道,副本數“can be specified at file creation time and can be changed later”(可在建立檔案時指定,之後也可修改),並提到“the common case, when the replication factor is three”(常見情況是副本數為三)(Apache Hadoop, HDFS Architecture,英文)。Apache Doris 的概述同樣說明,資料被劃分為分片,以多個副本儲存在各個後端節點上(Apache Doris, What is Apache Doris,英文)。先問清楚你的目標部署佈局會保留幾個副本。
- 增長速度。 策略名稱裡帶有“GROWTH”,但資料並沒有描述從單節點增長到叢集的路徑。月增長量要你自己估算,並提前決定資料漲到多大時遷移。
- 併發的真人使用者數。 策略允許不限數量的真人使用者。同時規定:當併發真人使用者超過 3 個並且空閒 900 秒時,向系統管理員發出一次性、不阻斷的提示。文件沒有說明這個提示意在表明什麼,所以請在試點中記錄你自己的併發峰值,不要靠猜。
- Agent 與模型流量。 產品使用由管理員配置的大語言模型服務。估算你預期每天的提問量和模型執行的位置;模型是獨立於資料節點之外的一項成本與容量。
- 重新整理頻率。 按版本說明的建議,規劃資料如何進入 Doris、多久重新整理一次。每晚一次 CSV 匯入和持續同步,負載特徵差別很大。
- 資料管道需求。 ETL 和 AutoML 列在 Heavy 中;產品簡介的版本表中 Flash 一欄為“—”。如果你需要 DataSpring ETL,版本問題在做任何容量計算之前就已經定了。
- 已有平臺。 如果你已經在執行 Hadoop、Hive、Trino 或 Iceberg,並且有人運維,Heavy 建立在你已有的技能之上。如果沒有,Hadoop 類叢集就是一項新的運維負擔。
不編造閾值的判斷規則
按下面的順序使用這些指標。
- 需要 ETL 或 AutoML,或者已經在執行想就地分析的 Hadoop 類平臺?看 Heavy。
- 否則,按計劃的副本數和索引開銷估算落盤資料量。一個節點是否放得下,並留有增長空間?
- 試點中,你的真實問題在真實併發峰值下,響應時間是否可以接受?請記錄你自己的測量結果;本文沒有任何測量資料。
- 如果第 2 或第 3 項的答案是否,要麼在許可條款範圍內配置更大的單節點,要麼改用涵蓋多節點部署的訂閱。
第 4 步還涉及許可。社群版許可“does not cover servers, model calls or operations”(不涵蓋伺服器、模型呼叫和運維),因此兩個版本的基礎設施和運維成本都由你承擔。社群版是單節點;多節點和叢集部署包含在企業版訂閱中,DataFocus 沒有公佈訂閱價格。
這份清單不夠用的時候
- 獲取版本。 兩個版本都可以從下載頁以及 OT Flash 和 OT Heavy 的 GitHub 倉庫免費獲取,這些地方也釋出帶有系統要求的發行說明。在做出承諾之前,先用你自己的資料試點其中一個版本。
- 未公佈的數字。 延遲、吞吐量和併發上限都沒有公佈。別處看到的任何數字,在你自己復現之前都應視為未經驗證。
- 工作負載形態。 少數重度分析師和大量輕度看板檢視者,給系統帶來的負載並不相同。上面的指標反映不出這一點,試點可以。
下一步
閱讀版本對比與下載頁(英文)和部署文件(英文)中的準備清單(使用範圍、作業系統與架構、容量、資料授權、模型選擇、資料出口和備份責任歸屬),然後在單節點上用你自己的資料做一次試點。