DataFocus · 博客
從 Flash 起步、再升級到 Heavy:哪些資產可以帶走
兩個版本對本體的描述一致,定義、對映、所需範圍和測試可複用;但文件沒有給出 Flash 到 Heavy 的原地升級。建議按重建來規劃,複用已有資產,並向支援團隊確認未說明的問題。
可以先用 OT Flash,以後再換到 OT Heavy,但 DataFocus 的公開文件沒有描述兩個版本之間的一步到位升級。文件寫明的是:兩個版本對本體(Ontology)的建模方式相同,都有同樣的 11 個模組;定義、對映、所需範圍和測試可以跨環境複用,而客戶記錄、憑據、私有文件和源系統的訪問規則不可複用。因此,把以後的遷移當作一次新的部署,把業務定義帶過去,而不是一次版本號升級。本文分開列出文件寫明的內容和文件沒有說明的內容,方便你在投入之前決定要問什麼。
兩個版本有哪些共同點?
OT Flash r57 使用者手冊和 OT Heavy 8.0.9 使用者手冊用同樣的措辭描述本體工作區。兩者都把本體定義為圍繞一個業務主題組織的知識空間,彙集相關的表、業務文件、指標和資料看板,並配有一個基於這些資料和文件作答的本體 Agent(Flash 手冊(英文)、Heavy 手冊(英文))。每個本體都列出相同的 11 個模組:Agent、本體圖譜、文件中心、資料表、資料探索、歷史問答、資料看板、資料應用、指標、執行和控制面板。
啟動步驟也一致:先用名稱和圖示建立本體,在資料表中匯入相關的表,在文件中心上傳業務文件,然後開始使用 Agent。版本對比表中,兩個版本都列有本體管理,所以先選 Flash 並不意味著沒有本體可用(DataFocus 下載頁(英文)和產品簡介(英文))。
差別在資料底座。Flash 使用 Apache Doris,同時作為記憶體計算引擎和資料倉儲。Heavy 延續 Hadoop、Hive、Trino 和 Iceberg 的架構,並內建 ETL(DataSpring)和 AutoML。
哪些資產可以複用?
DataFocus 在構建指南中關於跨專案複用的說明,是公開文件裡最接近遷移說明的內容。根據構建指南(英文),可複用的是:定義、對映、所需範圍和測試;不可複用的是:客戶記錄、憑據、私有文件和源系統 ACL。身份和許可權需要在每個新環境中重新對映。
套用到版本遷移上,可以這樣劃分。這是我們對該指南的解讀,不是 DataFocus 給出的操作流程:
| 資產 | 是否帶走 | 在新環境中怎麼做 |
|---|---|---|
| 業務定義(“交付”的口徑、適用哪個規則版本) | 指南列為可複用 | 重新錄入或匯入,再請負責人重新確認 |
| 表與資料來源的對映 | 指南列為可複用 | 重新繫結到 Heavy 將要讀取的資料來源 |
| 所需範圍 | 指南列為可複用 | 針對 Heavy 的使用者和角色重新授予 |
| 測試(有已知答案的業務問題) | 指南列為可複用 | 在新資料上重新執行 |
| 業務文件(指標口徑、規則、流程) | 未列為可複用(屬於私有文件) | 重新上傳到文件中心,等待狀態變為“已完成” |
| 使用者、角色、許可權 | 重新對映 | 重新建立,或從 AD/LDAP 同步 |
| 憑據和令牌 | 不可複用 | 重新簽發 |
測試這一行最容易被團隊跳過。同一套文件建議的交付順序以核驗一個業務任務收尾,所以請保留當初驗收 Flash 本體時用的業務問題及其預期答案,把它們作為 Heavy 的驗收用例集。
哪些可以手工遷移,哪些是版本專屬的?
文件中有幾項介面功能可以減輕手工遷移的負擔,但沒有一項被描述為 Flash 到 Heavy 的工具:
- 本體內的歷史問答、資料看板和資料應用,各有一個匯入按鈕,可以匯入同一安裝中 BI 工作區裡已儲存的內容。這是安裝內部的功能,不是跨版本功能。
- Heavy 手冊描述了匯入從系統匯出的問答或資料看板檔案,遇到同名資源時可以選擇“跳過”等處理方式。Flash 使用者手冊在資源專案下列出了案例的匯入和匯出。兩本手冊都沒有說明從一個版本匯出的檔案能否匯入另一個版本,所以在依賴它之前,請先用一個小專案測試。
- 兩本手冊都說明,執行是 Python 指令碼,控制面板的來源是可編輯的 JSON。它們是可以閱讀和比對的文本。指令碼或面板能否在另一個版本上原樣執行,文件沒有說明;手冊還提醒,執行會真實地讀取或修改資料,所以請逐個先做測試執行。
- Heavy 的資料來源列表除常見關係型資料庫外,還包括 Doris、Hive 和 Iceberg。這說明 Heavy 可以讀取這些系統,但沒有說明它能讀取 Flash 安裝內部的 Doris 表。
有一項版本專屬的內容會讓直接複製失效。Heavy 的 DataSpring ETL 僅列在 Heavy 中,Flash 的 Agent 手冊還把 Heavy ETL 列為 Agent 在 Flash 上不得呼叫的入口。如果你在 Heavy 上增加 ETL,那是新增的工作,不是帶過來的資產。
文件沒有說明什麼?
明確列出空白,比猜測更有用。公開文件沒有說明:
- 從 Flash 到 Heavy 的原地升級,或兩者之間的任何轉換工具。
- 本體的匯出格式,以及 Flash 的匯出能否載入到 Heavy。官網首頁在“擁有你的上下文”應當意味著什麼的列表中提到了“遷移”,並說定義、對映和策略“可匯出”。這是首頁上的設計原則,不是文件中記載的工具。
- Flash 內部的 Doris 資料與 Heavy 的 Hive 和 Iceberg 表之間是什麼關係。
系統要求、支援的平臺和安裝步驟,列在各版本在 GitHub 倉庫中的發行說明裡:OT Flash 和 OT Heavy;兩個版本也都可以從下載頁(英文)獲取。資源規劃請圍繞資料量、併發和模型需求來做。
版本頁面確實給出了一條流程提示:遷移之前,先確認目標版本、源對映和本體匯出範圍,並參考所選版本自帶的文件瞭解許可、服務範圍和節點說明。下載頁(英文)還提到,企業版訂閱包含升級與遷移協助,這提示了獲得受支援遷移的途徑,但頁面沒有給出具體條款。
如何規劃分階段路徑?
下面這套步驟沒有超出文件範圍:
- 從第一天起就用業務語言建模。 每條定義都寫明負責人,並在產品之外保留一份純文本登記表,記錄定義、資料來源對映和範圍。這份登記表就是你可以隨身帶走的資產。
- 先在 Flash 上建一個本體。 簡介建議的第一步,是選一個有資料、有政策文件、有明確負責人的業務問題,然後接入業務使用者,再接入經過授權的 Agent,最後擴充套件到下一個業務域。
- 把驗收測試寫成有已知答案的問題。 與登記表放在一起儲存。
- 提前確定遷移到 Heavy 的觸發條件。 版本頁面推薦在資料量大、已有大數據平臺、需要資料管道和建模時選擇 Heavy。事先選定其中哪些情形會促使你遷移,這樣決定就不必在壓力下做出。
- 用合成數據演練。 從下載頁(英文)安裝 Heavy,根據登記表重建一個小型本體,並在接觸生產資料之前重放這些測試。
- 並行執行,直到測試結果一致。 兩個版本都部署在你自己的伺服器上,所以並行執行的成本是硬體和運維時間:下載頁說明社群版沒有許可費用,並說明它不包含伺服器、模型呼叫和運維。
什麼情況下這個方案不合適?
如果你已經確定有 Hadoop 級別的平臺、有 ETL 需求,而且資料量符合 Heavy 的描述,那麼先從 Flash 起步,會多出一次本可以省掉的重建。同樣,如果你的第一個本體就依賴資料管道或 AutoML,而這些只在 Heavy 中提供,也是如此。在這兩種情況下,請直接從 Heavy 開始,或者至少先讀 Heavy 的發行說明了解系統要求。
應該向 DataFocus 支援團隊問什麼?
請通過私有支援工單傳送以下問題,並按支援頁面的要求附上產品版本和你期望的結果:
- 是否有受支援的 Flash 到 Heavy 的遷移路徑?是否需要企業版訂閱?
- “本體匯出範圍”包含什麼?匯出為什麼格式?
- 從 Flash 匯出的歷史問答、資料看板、執行和控制面板來源,能否匯入 Heavy 8.0.9?
- 儲存在 Flash 的 Doris 表中的資料,應當如何匯入 Heavy 的 Hive 或 Iceberg 層?
- 兩種安裝完成後,如何重新檢查工具目錄和範圍?Flash 的 Agent 手冊說明,升級後應重新發現工具和版本,舊的授權不會自動獲得新增的範圍。