← 返回博客

DataFocus · 博客

Text-to-SQL 夠業務使用者用嗎?原始 SQL 生成 vs 受治理的本體查詢

公開的企業基準顯示,原始 Text-to-SQL 在多數真實數倉任務上仍會失敗,主因是缺少業務定義。本文對比受口徑約束、並展示 SQL 的查詢方式,以及何時直接用 Text-to-SQL 就夠。

在小而乾淨、命名規範的 schema 上做探索性提問,Text-to-SQL 工具往往就夠了。但對於業務使用者要在會議上反覆引用的數字,通常不夠:公開的企業基準顯示,模型在多數真實數倉任務上仍然失敗,主要原因是缺少業務定義,而不是 SQL 寫得不好。補上這個缺口的是一個受治理的層:把定義一次定好,讓每條 AI 查詢都受這些定義約束,並展示每個答案背後的 SQL 和資料,供分析師核對。

公開基準如何看待企業級 Text-to-SQL?

幾年前,學術界的 Text-to-SQL 看起來已接近“解決”。最初的 Spider 資料集(Yu 等,2018,英文)包含 200 個數據庫;到 2023 年,DAIL-SQL 提示工程方法(Gao 等,2023,英文)在 Spider 排行榜上報告了 86.6% 的執行準確率。企業級基準給出的卻是另一幅圖景。

基準(年份)測試內容報告結果
Spider 2.0 論文,Lei 等(2024 年 11 月,2025 年 3 月 v2)(英文)632 個真實的企業工作流問題;資料庫“往往包含 1,000 多個列”基於 o1-preview 的程式碼 Agent 框架“僅成功解決 21.3% 的任務,而在 Spider 1.0 上為 91.2%,在 BIRD 上為 73.0%”
BEAVER(arXiv,2026 年 5 月 v3)(英文)企業私有資料倉儲:9,128 組問題與 SQL 對,812 張表採用 GPT-5.2 的最先進 Agent 框架準確率為 10.8%;加入子任務提示後為 30.1%
data.world 知識圖譜基準,Sequeda 等(2023 年 11 月)(英文)一個保險企業的 SQL schemaGPT-4 零樣本直接生成 SQL:16%;基於知識圖譜表示(本體加對映):54%

有兩點需要提醒。第一,Spider 2.0 專案頁面(英文)的排行榜自發布以來一直在變化,引用任何數字都要帶上日期;上表中 2024 年的數字描述的是當時的水平,不代表今天最好的系統。第二,這些是研究基準,不是你的數倉。它們只適合說明一件事:從整潔的演示 schema 換到企業 schema,準確率會大幅下降,而且這一結論來自多個獨立團隊、跨越多年。

為什麼多數錯誤數字源於定義,而不是模型?

看看一個企業問題裡藏著什麼。“上季度各區域的收入是多少?”要求系統知道:

  • 幾個金額列裡,哪一個才是“收入”(含退貨的毛額、扣除退貨後的淨額、扣除稅後的淨額);
  • 哪些訂單狀態算數(已發貨、已開票、已付款);
  • “季度”指自然季度還是財年季度;
  • 當 CRM 和 ERP 不一致時,哪張表裡的客戶區域才是權威的;
  • 金額用的是什麼幣種。

這些資訊都不在列名裡。讀取 schema 的模型只能猜,而猜出一條合法的 SQL,就會給出一個自信卻錯誤的數字。上面的 data.world 結果也指向同一方向:同一個模型、同樣的問題,在有了本體和對映來描述表的含義之後,表現好得多。

最近有一家廠商的文章直接提出了這個論點。Collate(2026 年 4 月)(英文)報告稱,加入其語義層後,Sonnet 4.5 在 Spider 2.0-Snow 子集上的執行準確率從 10.8% 提高到 76.5%。這只是單一廠商自己做的研究,沒有給出問題數量或方差,只能當作方向參考,不能當作證明。

語義層的思路在 BI 領域並不新。dbt Labs 的文件(以 2026 年 11 月文件為準)(英文)描述了把指標定義“從 BI 層移到建模層”,讓不同業務部門使用同一套定義。較新的問題是:AI 查詢是否也受這些定義約束,使用者能否看到它們確實受了約束。

受治理的做法在實踐中是什麼樣?

下面以 DataFocus OT 為例,說明其機制。重點是這種模式;其他平臺對其中各部分的實現方式不同。

1. 定義一次設定,處處共享。 業務定義只設定一次,搜尋分析、資料看板、控制面板、本體 Agent 和外部 Agent 都使用它,得到的是同樣的數字。使用者還可以通過“我的知識庫”(內容、關鍵詞、型別、分類和啟用標記)為自然語言助手 FocusGPT 新增業務定義和術語;管理員則在“系統管理 > 知識”下管理系統級知識,包括 FocusGPT 已確認的問題到關鍵詞的對映。

2. 自然語言先被翻譯成可見、可編輯的語句,而不是直接變成看不見的 SQL。 在資料搜尋中,使用者輸入列名和關鍵詞,例如“銷售額 按 區域”。如果輸入的是一個完整的問題,系統會請 FocusGPT 把它解析成搜尋語句,並顯示解析後的語句和“撤回”操作。分析師在信任結果之前,能確切看到問題被變成了什麼。

3. 展示 SQL。 結果右側欄有一個“查詢 SQL 語句”面板,顯示這次搜尋實際執行的 SQL,使用者可以核對某個數字是怎麼算出來的。

4. 每次查詢返回一份回執。 每次查詢都會返回所執行的 SQL、用到的表和資料指紋,AI 會沿著本體中定義的物件和關係查詢,而不是自己猜。對於通過 MCP 接入的 Agent,OT Flash 的 Agent 手冊描述了 SQL 結果通過 evidenceRows 返回,附帶執行回執、完整性與截斷資訊以及 evidenceRowsSha256 雜湊;手冊還規定,零行、失敗或被截斷的結果不得被描述為完整的統計。同一份手冊說明,幣種、期間、訂單狀態和並列排序規則等業務含義必須在排名之前澄清,不得憑欄位名猜測單位。

5. AI 生成的內容會標明是 AI。 FocusGPT 的智慧問數頁面會提示內容由 AI 生成,手冊建議在資料搜尋中核對重要結論。

在 DataFocus 公開的產品簡介裡,有一個基於示例資料的演示:業務使用者在資料搜尋中查詢,Claude Code 通過 MCP 接入後查詢,兩邊得到一致的部門合計,Agent 的回答引用了 SQL 和 evidenceRowsSha256 回執欄位(OT 產品簡介(英文))。這是使用內建示例資料的演示,不是客戶的實際部署。

並排對比

分析師應該問的問題典型的原始 Text-to-SQL 工具受治理、受口徑約束的查詢
“收入”從哪裡來?每次根據 schema 和提示詞推斷一次設定、反覆使用的定義
能看到我的問題被變成了什麼嗎?不一定;常常只有 SQL顯示解析後的語句,可撤回
能看到 SQL 嗎?通常可以可以
能證明哪些行產生了這個數字嗎?很少回執包含用到的表和資料指紋
資料看板和 AI 的結果一致嗎?不保證兩者使用同一套定義
搭建成本低:指向一個數據庫即可較高:需要有人建模並維護定義

什麼時候直接用 Text-to-SQL 就行?

在以下情況下,原始 Text-to-SQL 是合理的選擇,往往還是更好的選擇:

  • 使用者能讀懂 SQL,並會在使用數字之前核對它;
  • schema 小、有文件,每列只有一種明顯的含義;
  • 工作屬於探索性質,不會發布或複用任何數字;
  • 你是在做查詢原型的資料工程師,而不是彙報 KPI 的業務使用者;
  • 沒人能負責維護定義層。沒人維護的治理層會逐漸偏離實際,過期的定義可能比沒有定義更糟,因為它們看起來很權威。

受治理的做法有成本。需要有人為物件和定義建模並持續更新,也多了一個平臺。以 DataFocus 為例,OT Flash 使用 Apache Doris 同時作為計算引擎和資料倉儲,面向一個業務域;OT Heavy 則基於 Hadoop、Hive、Trino 和 Iceberg 構建,面向已有大數據平臺的組織。無論哪一個,都是需要有人部署和執行的平臺。如果你的需求只是一位分析師對一個 Postgres 副本做臨時提問,Text-to-SQL 工具加上 SQL 複核成本更低。

選型前的評估問題

對任何廠商都可以用這些問題,包括上面提到的這一家。請在你自己的 schema 上執行,而不是演示資料庫。

  1. 歧義測試。 問一個有兩種合理含義的問題(“上季度收入”)。工具是追問、套用已存的定義,還是悄悄選了一種?
  2. 一致性測試。 在 AI 助手和資料看板裡問同一個問題。數字一致嗎?如果不一致,工具能解釋原因嗎?
  3. 透明度測試。 業務使用者不需要管理員許可權,就能看到問題被翻譯成了什麼,以及 SQL 嗎?
  4. 依據測試。 答案會說明用了哪些表和行嗎?遇到被截斷或為空的結果,是標出來,還是當作合計報告?
  5. 歸屬測試。 定義存放在哪裡,誰能修改,修改有記錄嗎?
  6. 寬表 schema 測試。 把它指向你最寬的真實 schema,而不是精心整理過的檢視。Spider 2.0 等基準表明,準確率往往在這裡下降。

對大多數團隊適用的一條決策規則:如果一個數字要離開分析師的螢幕,它就應該來自有人負責的定義,並附帶產生它的 SQL。如果不會離開,直接用 Text-to-SQL 就行。

下一步

想了解 DataFocus 兩個版本在引擎和適用範圍上的差異,請閱讀下載頁上的版本對比(英文)。對於上文描述的查詢、回執和定義機制,OT 產品簡介(英文)是最簡短的官方概述。兩個版本均可免費使用:安裝映象和發行說明(包括系統要求)釋出在下載頁(英文)以及 OT Flash 和 OT Heavy 兩個 GitHub 倉庫中。