← 返回博客

DataFocus · 博客

OT Flash 搜尋調優:同義詞、自定義關鍵詞與財年

OT Flash 可以讓資料搜尋學會公司自己的說法:列名和列值的同義詞、自定義關鍵詞、自定義地區,以及財年這類自定義日期。本文說明各項設定在哪裡,以及如何驗證。

要讓 DataFocus OT Flash 的關鍵詞搜尋聽懂你們公司的同義詞和財年,用它的搜尋調優設定即可。同義詞把你們自己的說法對映到列名和列值,自定義關鍵詞增加你們自己的搜尋詞,自定義地區定義“華東”這類區域,自定義日期定義財年等日期口徑。只針對某張表的詞在該表上設定,全公司通用的詞由管理員在“配置”的“搜尋”頁簽下設定。搜尋因公司內部說法而失敗時,調優通常是成本最低的修復辦法,因為你改的是一項設定,不需要重新訓練任何東西。

為什麼關鍵詞搜尋會漏掉公司內部的說法?

OT Flash 的設計思路是:業務使用者像用搜索引擎一樣輸入列名和關鍵詞,系統生成圖表。在資料搜尋中,你選一張表,輸入類似“Sales by Region”的內容,系統計算結果並選擇合適的圖表。只要你用的詞和表裡的詞一致,這就沒有問題。

但公司裡很少有人這樣說話。財務說“turnover”,而列名叫 Revenue。銷售說“Southern region”,而資料裡的值是 South。計劃部門說“FY”,而日曆裡只有年和月。“East region”可能只是管理層的一種分組,任何一列裡都找不到。

如果輸入的不是標準的關鍵詞語句,OT Flash 會請 FocusGPT 把它解析成搜尋語句,展示解析後的語句,並提供“還原(Revert)”選項,讓你回到自己輸入的原文。這個兜底機制有用,但每次搜尋都多了一次猜測。搜尋調優可以讓你每天都在用的那些詞不再需要猜。

設想一家中型分銷商(假設場景,並非真實客戶)。它的 Orders 表有一列叫 Net Revenue,還有一列 Region,值為 North、South、East 和 West。分析師輸入“turnover by Southern region this fiscal year”。不做調優時,其中三個詞都匹配不上。下面各節逐一解決。

如何為列名和列值新增同義詞?

同義詞分兩個層級,解決的是不同的問題。

列同義詞。 在表的列設定中,你可以逐列設定顯示名稱(Display Name)、資料型別、描述、列型別、聚合方式、資料格式、地理型別(Geo Type)、同義詞(Synonyms)、索引型別,以及 1 到 100 的優先順序,還可以設定該列是否對模型可見。“同義詞”欄位接受該列的其他名稱,用逗號分隔。新增之後,在搜尋中輸入某個同義詞,也能找到這一列。

對於假設場景中的 Orders 表,可以給 Net Revenue 列新增“turnover, sales value”作為同義詞。這樣,搜尋“turnover by region”就會解析到與“net revenue by region”相同的列。

列值同義詞。 在表的“搜尋擴充套件”頁簽上,可以為列值新增同義詞。手冊裡的示例是:給 Region 的值 South 設定同義詞“Southern region”;之後搜尋“Southern region”也會匹配 South。每一條同義詞通過“為列值新增同義詞”按鈕(Add synonyms for column values)新增。

兩個層級通用的實用規則:

  1. 先收集失敗的搜尋。問三四位分析師,他們輸入哪些詞沒有得到有用的結果。
  2. 每個真實出現的說法加一條同義詞。不要把同義詞詞典整個灌進去;每多一條同義詞,搜尋就多一種匹配到意外內容的可能。
  3. 只在某一張表裡才有意義的詞,優先放在該表的搜尋擴充套件裡;所有表共用的詞,用系統級設定。

什麼是自定義關鍵詞和自定義地區?

自定義關鍵詞是你自己定義的搜尋關鍵詞。它有兩個作用範圍:一個在表的“搜尋擴充套件”頁簽上,只對該表生效;另一個在管理員的搜尋設定下,對整個系統生效。手冊只用一句話描述了它,沒有給出完整示例,所以作用範圍就是最主要的設計決策。如果一個關鍵詞承載的是某個團隊對某個詞的特定理解,就應該放在該團隊的表上。如果它是各部門都認可的,就放進系統級列表。

自定義地區由管理員在“配置”的“搜尋”頁簽上定義。手冊裡的示例是:East 這樣的區域,由若干特定的州和城市組成。定義之後,這個區域就可以用來縮小搜尋範圍。該頁籤還提供按國家匯入系統地區的選項,讓你在新增自己的分組之前先有一套基礎資料。

對這家假設的分銷商來說,“East region”是銷售管理上的分組。把它定義為自定義地區後,分析師就可以搜尋“sales of each state in the East region”,這正是手冊用來說明自然語言輸入的那類問題,而且無需有人給表加輔助列。

如何把財年定義為自定義日期?

自定義日期是告訴搜尋你們公司自己的日期慣例的方式。手冊給出的示例是財年。它同樣由管理員在“配置”的“搜尋”頁簽上設定,與自定義地區、系統級同義詞和關鍵詞放在一起。

把它放在一個地方定義,好處是口徑一致。如果每位分析師都自己把“FY”換算成日期範圍,遲早會有兩個人對財年是從 4 月還是 7 月開始產生分歧。把它一次性定義為自定義日期,就把這個決定從各人的搜尋裡挪出來,放進由管理員負責的配置中。

手冊說明了自定義日期的存在,並以財年為例。本文所依據的章節沒有逐欄位的操作說明,所以具體欄位請對照所安裝版本的發行說明和使用者手冊:datafocus.ai/manuals/ot-flash/r57/en/human.html(英文)。在親眼看到介面之前,不要假定從年中開始的財年是怎樣表達的。

用搜索調優,還是用 FocusGPT 知識庫?

OT Flash 還有第二種教它業務詞彙的方式。可以通過“我的知識庫”(My Knowledge Base)向 FocusGPT 傳授業務定義,每個條目包含內容、關鍵詞、型別、分類和啟用開關,可以單條匯入,也可以批次匯入。管理員在 Admin > Knowledge 下管理系統級知識、FocusGPT 已確認的問題到關鍵詞的對映、個人知識和分類。

兩種機制作用於不同的環節:

搜尋調優FocusGPT 知識庫
作用物件關鍵詞搜尋本身FocusGPT 對問題的理解
典型內容同義詞、自定義關鍵詞、自定義地區、自定義日期帶關鍵詞、型別和分類的業務定義
位置表的“搜尋擴充套件”頁籤;“配置”中的“搜尋”頁籤我的知識庫;Admin > Knowledge
最適合簡短、精確的詞:“turnover”“Southern region”“FY”需要一句話來解釋的定義:例如什麼算活躍客戶

判斷規則:如果這個詞只是對已有的列、值、區域或日期範圍的稱呼,就調優搜尋。如果它是需要解釋的定義,就放進知識庫。做好前者也有助於後者,因為 FocusGPT 的輸出是一條搜尋語句,由搜尋已經理解的詞構成的語句更容易生成正確。手冊對 FocusGPT 結果的建議是:關鍵結論要在資料搜尋中核對,這也是保持關鍵詞搜尋準確的另一個理由。

如何在釋出前測試調優後的搜尋?

把調優當作其他人要依賴的變更來對待。一份簡短的清單:

  1. 重跑失敗的搜尋。 取第一步收集的清單,把每個短語照分析師當時的輸入原樣再輸入一遍。
  2. 閱讀 SQL。 資料搜尋會在右側欄顯示 SQL 和分析摘要。確認“turnover”對映到了預期的列,“Southern region”過濾的是 South,而不是範圍更大的內容。
  3. 檢查反例。 搜尋一個不應該變化的相鄰短語,比如“North”,確認它的結果與之前一致。
  4. 檢查財年邊界。 把一次財年搜尋的結果,與你已經信任的財務報表中同期的數字對比。選一個跨越日曆年變更的時間段,因為錯誤的定義最容易在那裡暴露。
  5. 先用受限角色測試。 使用者看到的選單和資料取決於管理員分配的角色和許可權,所以至少要用一個普通業務使用者賬號檢查,而不只是用管理員賬號。
  6. 宣佈詞彙,而不是功能。 把現在可以使用的詞彙清單發給團隊。一份簡短的真實說法清單,比對設定項的描述更有用。

什麼時候搜尋調優不是正確的修復辦法?

調優適用於“用詞不同但含義相同”的情況。它解決不了列含義不清的表、兩個都像是“收入”的列,或者各部門對定義有爭議的指標。把同義詞加到錯誤的列上,只會讓錯誤答案更容易得到。先確定哪一列是權威的,再附加同義詞。

同時要明確責任歸屬。系統級的同義詞和關鍵詞會影響所有人的搜尋,所以應指定一位管理員負責,並記錄添加了什麼、為什麼新增。

下一步

關於具體介面,請閱讀 OT Flash 使用者手冊中關於資料表和“配置”中“搜尋”頁籤的章節:datafocus.ai/manuals/ot-flash/r57/en/human.html(英文)。要安裝免費版本,請前往下載頁面,安裝程式和發行說明都在那裡釋出。