← 返回博客

DataFocus · 博客

自建 DataFocus OT Flash:開裝之前先定下的七件事

DataFocus 要求在自建 OT Flash 之前定下的七個決定:每一項都有負責人、要交出的產物和背後的機制,並附一份取自 r57 手冊的安裝後第一小時核驗順序。

在自己的伺服器上安裝 DataFocus OT Flash 之前,有七個決定要先指定負責人、落成書面答案:使用範圍、作業系統與 CPU 架構、容量、資料授權、模型服務、資料出口,以及備份歸誰管。這份清單不是我們編的,它來自 DataFocus 自己的部署文件;同一份文件還要求按所選版本的安裝指南確定最低資源。系統要求和支援的平臺寫在每個發行版的發行說明裡,釋出於下載頁和 OT Flash GitHub 倉庫。下文逐項給出負責人,講清背後的機制,最後附上安裝完成後第一個小時的核驗順序。

先說清邊界:這是一份準備清單,不是安裝指南。內容依據 DataFocus 的公開文件、r57 使用者手冊和 OT Flash 的 README,文中沒有任何數字來自對執行中系統的實際測量。

七個決定分別歸誰

OT Flash 由你自建,大語言模型服務由管理員配置,所以沒有哪一個團隊能單獨為整張清單簽字。專案啟動前就把七項分派下去,並且向每位負責人要一件實實在在的產物,而不是一句口頭的“沒問題”。

決定負責人要交出的產物
使用範圍業務負責人、平臺負責人一個點名的業務域,以及使用者最先會問的三個問題
作業系統與架構基礎設施團隊鎖定的發行版,以及其發行說明中關於平臺的那一行
容量基礎設施團隊一張容量規劃表,每種資源一行,並寫明試點日期
資料授權資料負責人、安全團隊每個資料來源的讀取範圍,以及一個只讀服務賬號
模型服務平臺負責人、安全團隊模型託管位置、金鑰保管方式、備用方案
資料出口安全團隊、合規團隊哪些資料可以離開內網,依據哪條政策
備份歸屬運維團隊快照目標、憑據輪換方式、恢復演練日期

範圍真的只有一個業務域嗎?

把使用範圍寫成單一業務域,比如採購審批或訂單交付,再列出使用者最先會問的三個問題。DataFocus 的版本說明把 Flash 定位給這樣的團隊:想快速跑通一個業務域,資料能放進同一個分析引擎。在 Flash 裡,Apache Doris 同時充當計算引擎和資料倉儲。OT Heavy 則延續 Hadoop、Hive、Trino 與 Iceberg 的架構,內建 ETL 與 AutoML,面向資料量大、已有大數據平臺、需要資料管道和建模的場景。

這就給了第一次會議一條可以直接套用的決策規則。需求是“一個業務域,資料能落進一個引擎”,Flash 合適;需求是“全公司的資料”或者“先得把資料管道搭起來”,那說的其實是 Heavy,後面這張清單也得跟著改。容量規劃表、聯結器清單、模型服務的決定,全都從這個答案往下推。

裝哪個發行版,裝在哪個平臺上?

支援的作業系統和 CPU 架構,列在你所安裝的那個 OT Flash 版本的發行說明裡。由此可以推出兩條做法:

  1. 先鎖定發行版,再讀它的發行說明確認你的平臺,並把兩者一起寫進變更記錄。寫著“最新版”的容量規劃表,不算容量規劃表。
  2. 變更視窗當天早上重讀一遍發行說明;鎖定的發行版若有變動,視窗隨之順延。

README 還補了一步,很多團隊是裝到一半才發現的:新安裝需要例項專屬的產品授權和模型配置。請在視窗開啟之前就把授權申請下來。下載不需要網站註冊,也不需要付費;發行說明會告訴你如何用校驗資訊(checksum)核對檔案完整性,這一步應當寫進執行手冊(runbook)。

容量到底被什麼吃掉了?

下載頁對資源需求只給了一句話:“按你的資料規模和工作負載規劃”,各發行版的系統要求在各自的發行說明裡。除此之外,DataFocus 的建議是圍繞資料量、併發和模型需求做規劃。要把這幾句話變成一張容量規劃表,你得先知道裝好的系統由哪些部件組成。

r57 手冊的 System Manager 監控頁列出了服務容器:df-webserver、df-search、df-biserver、df-doris-fe、df-doris-be、df-pgsql、df-redis 和 df-nginx,正常執行時各一個例項;基礎設施服務是 Doris、PostgreSQL、RabbitMQ 和 Redis。其中兩個 Doris 容器對磁碟的影響最大。按 Apache Doris 文件(2026 年 11 月查閱)的說法,前端節點負責接收請求、查詢規劃和後設資料,後端節點負責儲存和執行查詢。README 說明 Doris 把匯入的業務資料存在內部表裡,所以後端的資料目錄隨你匯入了多少資料而增長,跟你所連線的源系統有多大無關。

Flash 的容量規劃表因此至少要有下面幾行,每一行都註明數字的來源和複核日期:

  • 匯入的表。 哪些表、今天多少行、試點期間預計增長多少。資料盤按這些數字來定,不按源資料庫的體積來定。
  • 文件。 README 描述了負責解析、切塊、向量嵌入(embedding)和建索引的文件工作器(document workers)。要為原件及其派生索引預留空間,並且在劃分磁碟分割槽之前先問清安裝程式的儲存佈局。
  • 併發使用者與定時任務。 DataFocus 沒有公佈併發或延遲資料,所以沒有現成數字可以借用。先統計預期的同時線上使用者數和定時匯入數,再在試點中驗證。
  • 模型呼叫。 安裝完成後,“系統管理 > 裝置授權”(Admin > Device authorization)會顯示每日和每月的 AI 模型 token 用量。先留一個佔位,試點期間從該頁面把數字填進去。

還有一條許可事實應該寫在同一張表上。DataFocus 的發行政策規定每個節點一個活躍的 DataFocus Node Unit,由本地硬性限制強制執行,人類使用者數不限。社群版(Community Edition)執行在單節點上,沒有許可費用;多節點與叢集部署列在企業版訂閱之下。如果容量規劃表上有一行寫著“不止一個節點”,那就是一場商務談話,而且要儘早開始。

資料怎麼進來,誰批准它進來?

規劃資料如何到達 Doris、多久重新整理一次。README 列出的聯結器有 MySQL、PostgreSQL、SQL Server、Oracle、DB2、ClickHouse、SAP HANA 和 OceanBase,另有相容的 TiDB、Doris 和 Greenplum,以及 CSV 匯入;r57 手冊還補充了 Excel 和 JSON 檔案、API 資料來源和 HTTP 資料來源,以及用於定時匯入的 Table Task 頁籤。對清單上的每一個數據源:

  1. 寫明資料負責人,記下本體可以讀取哪些表、哪些列。
  2. 為 OT Flash 建立一個只讀資料庫賬號。r57 手冊建議使用專用只讀賬號,且只能訪問待分析的資料庫和表;換句話說,這是文件寫明的路徑,不是額外的謹慎。
  3. 按表決定重新整理計劃,因為定時匯入是按表任務逐一配置的。
  4. 在承諾重新整理計劃之前,先在試點中從這個資料來源真實匯入一張表。

進了產品之後,可見範圍跟著角色走。r57 手冊的預置角色有 SYSTEM_MANAGER(全域性配置、使用者與角色)、SOURCE_MANAGER(全部資源及其授權)、DEPARTMENT_MANAGER、DEVELOPER 和 LOG_MANAGER,管理員還可以新增自定義角色並按資源設定許可權。使用者可以逐個建立、按模板批次匯入,或者從 AD/LDAP 同步;一個使用者看得到哪些選單,取決於分給他的角色。安裝日之前,定下第一位 SYSTEM_MANAGER、第一位 SOURCE_MANAGER 和前十位業務使用者,並決定 AD/LDAP 同步是放進試點,還是留到下一階段。

用哪個模型,什麼會離開內網?

本體 Agent 只有在管理員配置了大語言模型服務之後才能工作。DataFocus 不捆綁也不指定模型,所以這個決定是你的;它同時也是最容易讓安裝停擺的一項,尤其當安全團隊第一次聽說這件事是在變更窗口裡。請書面回答五個問題:

  • 模型託管在你的網路內,還是由外部提供方託管?
  • 如果是外部模型,會把什麼傳送給它?DataFocus 自己的建議是對照你的資料政策確認這一點。
  • API 金鑰由誰持有、存在哪裡?System Manager 的介面認證頁管理呼叫系統介面的金鑰,出廠自帶一條 ADM_CENTER_SECRET;它“金鑰不得貼上到聊天或文件中”的規則,應當同樣適用於模型金鑰。
  • 誰來盯用量?“系統管理 > 裝置授權”顯示每日和每月的 token 消耗。
  • 提供方不可達時怎麼辦?本體 Agent 依賴已配置的模型服務,所以要事先決定模型服務不可用期間第一個業務域怎麼辦。

對一部分讀者來說,資料出口問題還牽涉監管。假設場景:一支中國大陸團隊,第一個業務域包含客戶記錄。按照《中華人民共和國個人資訊保護法》第三十八條(斯坦福 DigiChina 英譯本,該法自 2021 年 11 月 1 日起施行),向境外提供個人資訊須先滿足四項條件之一,例如通過監管部門組織的安全評估,或與境外接收方訂立標準合同。按這一理解,境外的模型端點就構成跨境傳輸。這正是“模型託管在哪”這個問題需要合規團隊當場在席、而不是事後補一條備註的原因。

然後把成本一側寫下來。DataFocus 的說法很直接:“伺服器、模型呼叫和第三方服務由使用方承擔。”社群版許可不包含伺服器、模型呼叫或運維。

Agent 會接進來嗎?網路邊緣要準備什麼?

如果 Coding Agent 或其他 MCP 客戶端會使用這個例項,在網路方案里加一行。OT Flash 通過 /mcp 路徑的 Remote MCP 向外部 Agent 開放本體資料,另有獨立的 Business Workspace 位於 /mcp/business;授權採用帶 PKCE 的 OAuth 授權碼流程,已登入使用者可以在 /oauth/grants 檢視並撤銷自己的連線。Agent/MCP 手冊對代理的要求很具體:保留 Authorization、Content-Type、MCP-Protocol-Version、Mcp-Method 和 Mcp-Name 這幾個頭以及已批准的 Origin,絕不要把公開的 /mcp 路徑轉發到管理埠或另一個產品。r56 Agent 手冊說明,MCP 頭與訊息體不一致的請求會被以 HTTP 400 拒絕,所以在網路團隊動手寫配置之前,先把這份清單交到他們手上。如果第一階段不接 Agent,也把這一點記下來。

備份和升級怎麼安排?

安裝前就定下備份負責人,不要等到第一次匯入之後。README 描述了 Doris 到 S3 相容儲存的線上快照,並提醒恢復會中斷服務。如果走這條路,要決定儲存桶放在哪、誰負責輪換它的憑據、什麼時候在非生產主機上演練一次恢復。從沒有人恢復過的快照,只是一個假設。

升級方面,r57 的 System Manager 有一個升級管理頁,顯示產品名稱、當前版本和最新版本。沒有配置線上更新源時,它會提示使用經核驗的發行包升級。它提供按日、按周或按月在設定時間自動升級的選項,或者“不升級”,手冊把後一項標為不推薦。現在就決定自動升級是否符合你的變更流程;對生產節點,多數團隊會選擇手動、用經核驗發行包升級,並備好回滾方案。如果接入了 Agent,Agent/MCP 手冊在每次升級後還多一步:重新發現工具與版本並比對 schema,因為舊授權不會自動獲得新的 scope。這一行要寫進升級執行手冊。

安裝後的第一個小時

手冊裡現成的監控介面已經足夠核驗一次安裝,不需要自己發明測試。按下面的順序執行,逐項記錄結果。

  1. 開啟登入頁。 使用者在瀏覽器裡訪問管理員給出的地址,例如 https://<服务器地址>:31600,手冊推薦使用最新版 Chrome。管理員首次登入會被強制修改密碼;改完後把憑據存進你的密碼保管庫。
  2. 開啟 System Manager,地址是 /manager.html。它有獨立於“系統管理”(Admin)的運維賬號,首次登入同樣要求修改初始密碼。任何廠商預設密碼都不該活過第一個小時。
  3. 檢視系統指標。 節點狀態顯示磁碟、CPU(使用者、系統、空閒、I/O 等待)、記憶體和各掛載點的磁碟使用率;確認這些數字與容量規劃表裡的主機一致,並且每個服務容器都顯示一個執行例項。
  4. 設定告警閾值,覆蓋節點、Pod、Doris、PostgreSQL、RabbitMQ 和 Redis,選擇應用內或郵件通知,並注意郵件告警的冷卻時間預設是 60 分鐘。
  5. 配置郵件。 密碼找回需要配置好的郵件伺服器,郵件告警也一樣;在第一位使用者忘記密碼之前把它做完。
  6. 配置模型服務,然後拿一張已匯入的小表向本體 Agent 提一個問題。手冊說回答通常需要幾十秒,複雜問題更久。
  7. 檢查日誌管理(Operate Logs),LOG_MANAGER 或 SYSTEM_MANAGER 可見,找出你自己的登入和匯入記錄。條目顯示主機、型別、狀態、詳情、使用者和時間,這恰好也是提支援工單時要準備的內容:DataFocus 要求提供產品版本、操作步驟和預期結果。

Flash 什麼時候不合適

跑在單一 Doris 引擎上的 Flash,適合資料能落到一處的單一業務域。如果第一個需求就要資料管道或 AutoML,DataFocus 把這兩項列在 Heavy 而非 Flash 之下,那麼 Heavy 才是正確的起點。安裝程式與發行說明見下載頁;在為硬體下單之前,請先讀 OT Flash 手冊。