DataFocus · 博客
OT Flash 定時表匯入任務:讓 Doris 表保持最新
DataFocus OT Flash 不使用 ETL 引擎,而是用定時匯入任務保持表資料最新:連線只讀資料來源、選擇表、設定計劃,並在系統管理器中檢視執行狀況。
要在 DataFocus OT Flash 中為源資料庫的表設定定時匯入,先用專用的只讀賬號把該資料庫新增為外部資料來源。然後執行三步匯入嚮導(選擇資料來源、選擇表、配置表的載入方式),並在最後一步設定可選的計劃。定時匯入在“表任務”(Table Task)標籤頁中管理,匯入後的表存放在 Flash 內建的資料來源“DataFocus system Doris”中。本教程按這條路徑走一遍,並說明如何檢查重新整理是否正常。
為什麼 Flash 用匯入任務而不是 ETL 管道來重新整理資料?
Flash 手冊列出的表級資料整理工具包括:關聯工作表(Join Worksheet)、合併工作表(Merge Worksheet,用於疊加結構相同的表)、帶編輯器的 SQL 檢視、組合相關表的資料集、“表任務”標籤頁中的定時表匯入任務,以及“norm”公式。這些並不是 DataFocus OT Heavy 提供的 ETL 引擎。在 Flash 的 Agent 手冊中,dfc_etl 工具只報告能力:它可以返回 available=false 和程式碼 ETL_NOT_INCLUDED_IN_OT_FLASH,所以 Flash 不執行 Heavy 那樣的 ETL 作業。
實際的分工很簡單:
- 源系統仍然是資料的權威記錄。
- 定時匯入把你選定的表複製到 Flash。
- 資料落地之後,在 Flash 內用工作表和檢視做資料重塑。
如果團隊想要為搜尋式分析準備新鮮的表,又不需要管道編排器,這樣元件更少:一個連線、一個嚮導、每組所選表一個計劃。取捨在文末說明。
匯入的資料存放在哪裡?
OT Flash 自帶一個內建資料來源,名為“DataFocus system Doris”。Doris 同時是 Flash 中表查詢背後的引擎:Agent 手冊說明,查詢經由 Doris 執行,原有的 Trino、Hive 和 Hadoop 服務不屬於 Flash 的 Agent 入口。
Apache Doris 專案在官方文件(英文)中把 Doris 描述為基於 MPP 的即時資料倉儲:前端(FE)節點負責處理請求、查詢規劃和後設資料,後端(BE)節點負責儲存和查詢執行。Flash 中也能看到這種劃分。系統管理器的監控頁面在服務容器中列出 df-doris-fe 和 df-doris-be,其 Doris 面板報告查詢狀態、活躍的 FE 和 BE 數量、儲存以及內部表數量。
關於名稱有一點說明:r57 手冊把資料來源稱為“DataFocus system Doris”,而在外部資料庫的來源型別中列出的是“SelectDB / Doris”。在介面中搜索時,請按這兩個名稱查詢。
如何設定源連線?
Flash 支援很多種外部資料庫型別,分為 Database、API source 和 HTTP source 三組。Database 組包括 PostgreSQL、MySQL(含 MariaDB)、Oracle、IBM DB2、GaussDB 100、SQL Server、Sybase、Greenplum、ClickHouse、Kudu、ElasticSearch、TeraData、MongoDB、Prometheus、Hive、Delta Lake、Iceberg、TiDB、SelectDB / Doris、OceanBase、SAP HANA、ClickZetta、Impala、DM8(達夢)、ArgoDB 和 KingBase。
連線資料庫需要填寫以下欄位:
| 欄位 | 必填 | 說明 |
|---|---|---|
| Source Name | 是 | 在匯入嚮導中看到的名稱 |
| Server | 是 | 源資料庫的主機 |
| Port | 是 | 資料庫埠 |
| Database | 是 | 要讀取的資料庫 |
| Schema | 可選 | 源型別使用 schema 時填寫 |
| JDBC Param | 可選 | 額外的連線引數 |
| Username / password | 是 | Flash 用來讀取資料的賬號 |
儲存前先用 Connect 測試連線。手冊建議為 OT Flash 使用專用的只讀資料庫賬號,並且只授予你要分析的資料庫和表的許可權。請把它當作設計規則,而不是走形式:定時匯入要在無人值守時讀取源庫,所以賬號許可權就按這一項工作來定。
下面是 PostgreSQL 源的示意程式碼(示意程式碼,未實際執行;請根據你的環境調整名稱和許可權):
CREATE ROLE flash_reader LOGIN PASSWORD '<set-a-strong-password>';
GRANT CONNECT ON DATABASE sales TO flash_reader;
GRANT USAGE ON SCHEMA public TO flash_reader;
GRANT SELECT ON public.orders, public.customers TO flash_reader;
只有列出的表可以被讀取,所以之後在匯入嚮導中即使選錯,也不會越出這個範圍。
如何在“表任務”標籤頁中建立定時匯入?
匯入是一個三步向導。
- Select data source。 選擇上面建立的連線。
- Select tables。 勾選要匯入的源表。先從你的問題真正需要的表開始,不要一上來就匯入整個 schema。
- Config load tables。 選擇匯入型別,如果希望資料保持最新,再設定可選的計劃。
計劃讓一次性的複製變成持續的重新整理。儲存後,該任務會和你的其他表任務一起出現在“表任務”標籤頁中,需要檢視時回到這裡即可。手冊還介紹了其他匯入表的方式(本地 CSV、Excel 或 JSON 檔案,API,或 HTTP 源),但只有資料庫匯入的源資料會持續變化,所以它是最適合設定計劃的場景。
下面幾個習慣能讓定時匯入更容易運維:
- 一個任務一個用途。 把總是一起查詢的表放在一起,讓它們一起重新整理。
- 按來源和頻率命名。 像
sales_orders_daily這樣的名稱,能讓檢視“表任務”標籤頁的人知道會發生什麼。 - 檢查首次載入。 在依賴計劃之前,先開啟匯入的表,確認列和行的形態符合預期。
- 讓頻率與問題匹配。 每週一次的管理例會,不需要每小時重新整理底層表。
匯入之後如何重塑資料?
因為 Flash 沒有 ETL 引擎,資料重塑在表級工具中完成,物件是已經在 Doris 中的資料:
- Join Worksheet 按共同的鍵關聯多張表。
- Merge Worksheet 疊加結構相同的表,例如使用同一佈局的各月提取資料。
- SQL 檢視 用內建編輯器,在匯入的表之上定義可複用的查詢。
- 資料集 組合相關的表,使搜尋和問答能一起使用它們。
- Norm 公式 增加計算值。
原本會放在管道里的邏輯,適合放進檢視。下面是一個示意例子(示意程式碼,未實際執行;表名和列名為假設):
SELECT o.order_id,
o.order_date,
c.region,
o.amount
FROM orders o
JOIN customers c ON c.customer_id = o.customer_id
WHERE o.status <> 'cancelled';
檢視讀取的是匯入的表,所以每次重新整理 orders 或 customers,資料都會自動流經檢視,無需額外步驟。請在匯入的副本之上建檢視,不要把同樣的邏輯複製到多個地方。
如何檢視匯入和排程的執行狀況?
系統管理器用來檢查承擔這些工作的平臺是否健康。它的監控頁面顯示服務容器(例如 df-webserver、df-search、df-biserver、df-doris-fe、df-doris-be、df-pgsql、df-redis 和 df-nginx,正常執行時每個各有一個執行例項)、基礎設施服務(Doris、PostgreSQL、RabbitMQ 和 Redis)以及業務服務,其中包括 Task Manager,以及 BI Server、Search Server 和 Web Server。
告警讓你不必一直盯著這個頁面。你可以對節點(CPU、記憶體、磁碟)、Pod、Doris、PostgreSQL、RabbitMQ、Redis、服務記憶體、任務排程和業務資料設定閾值,運算子為 >、>=、<、<= 和 =。告警可以在應用內、通過郵件或兩者同時傳送。郵件冷卻時間預設為 60 分鐘,通知語言可選中文或英文,每條告警都會記入告警日誌(Alarm Log)。
對於定時匯入的部署,一組合理的起步設定是:
- Doris 儲存閾值,避免匯入的表越來越多、磁碟悄悄被佔滿。
- 任務排程告警,讓排程問題被主動提示,而不是等看板看起來過時了才發現。
- 承載整套服務的節點上的磁碟閾值。
第一週之後檢視告警日誌,並按你的資料量把閾值調整到正常水平。
什麼情況下不適合?
定時匯入複製的是資料。這有幾點後果,值得直接說明:
- 新鮮度受計劃限制。 每天重新整理一次的表,最多可能比源庫落後一天。如果每次查詢都需要來自即時源庫的答案,按計劃複製是另一種模型。
- 儲存會重複。 匯入的表除了源資料庫之外,還會佔用內建 Doris 的空間。請按資料量、併發和模型需求規劃資源。
- 重度轉換應放在別處。 如果需要 ETL 引擎的能力,請看提供 ETL 引擎的 DataFocus OT Heavy;Flash 的工作表和 SQL 檢視覆蓋的是表級的資料整理。
如果你的需求落在“按計劃複製這些表,用關聯和檢視重塑它們,再對結果提問”之內,“表任務”標籤頁用一個連線、一個嚮導就能覆蓋這套流程。
下一步
可以在版本與下載頁面下載 OT Flash,也可以瀏覽 OT Flash 使用者手冊(英文),其中關於表的章節涵蓋匯入、工作表、檢視和表任務。系統要求和支援的平臺列在 OT Flash GitHub 倉庫的發行說明中。