圖書館研究平台中的自然語言理解 – EBSCO自然語言搜尋的測試版結果

Natural Language Understanding 自然語言理解(NLU)是AI人工智慧在搜尋領域中的前沿發展技術。EBSCO Discovery Service(EDS)和EBSCOhost 的全新Beta版功能——自然語言搜尋則結合自然語言理解(NLU)的智慧解析和EBSCO多年來持續為研究者需求進行測試與配置的強大搜尋演算法。

EBSCO正在各種圖書館研究平台執行自然語言理解技術來提升研究效度和轉換研究體驗。雖然自然語言理解是EBSCO Discovery Service 和 EBSCOhost採用新自然語言搜尋模式背後的技術，但進階搜尋仍遵照傳統搜尋方式不用AI人工智慧技術。將強大的EBSCO搜尋引擎功能與自然語言理解技術相結合則能讓EBSCO更加專注在研發一個能符合不同使用者的搜尋偏好和體驗層次的檢索模式。

EBSCO在2024年8月至9月對來自60位大學生和30位進階研究員的參與者進行這項全新的自然語言搜尋模式Beta版測試。下列內容是這些使用者的研究發現結果。

EBSCO 的自然語言搜尋是一項運用自然語言理解技術來更準確的解析使用者查詢以確保搜尋結果能真正反映使用者查詢意圖的進階功能。這項功能可提供更精準的搜尋結果，對於需要快速找出特定資訊的研究者而言非常重要。使用者透過進階搜尋模式選項可以打開自然語言搜尋。自然語言搜尋相較於傳統的搜尋方式能理解並尊重使用者在查詢時設定的條件與參數，讓使用者剛開始進行研究時不用掌握複雜的搜尋語法和技巧就能更有效取得所需資訊以提升研究效率。

如一位參與者提到：
「我印相深刻的是自然語言搜尋的涵蓋範圍和搜尋結果的相關性能找到許多用關鍵字查不到的資料。而 EBSCO對於相關性的演算法很好且搜尋結果能呈現上下文，並不會像有些語義搜尋那樣看起來零散或不夠完整。我覺得對於剛接觸資料庫的新手來說這種自然語言搜尋模式很直覺易上手；對於有經驗的資深使用者則可以把關鍵字、詮釋資料和語義搜尋搭配使用，後續還能探索更多專業領域之外不熟悉的全新主題。」— 取自Beta版測試的研究者回饋
 

進階使用者組的參與者在測試期間會被要求在未打開自然語言搜尋模式時，先至少查詢三次並與打開自然語言搜尋模式後的結果進行對比。參與者需要對每次查詢的體驗給出 1 到 5 分的初步印象評分再評估搜尋結果的相關性，最後他們會被問到若這項功能正式推出是否願意使用。

學生的使用者測試同樣採取A/B 測試模式，參與者會在同一個探索服務平台的搜尋介面分別執行一次有開啟自然語言搜尋模式和未打開的模式進行查詢。參與者除了要針對搜尋體驗評分(從 1 到 5 分），還要評分搜尋結果的相關性。最後在讓他們回覆對於自然語言搜尋和他們過去用過的其他搜尋方式相比有哪些不同的感受。

當我們詢問對於自然語言搜尋的整體印象、相關性的評價和他們期望的檢索操作模式時，參與者給出下列幾項反饋：

• 研究人員有57% 對自然語言搜尋持正面看法，其中有 27%的人則表示自然語言搜尋與傳統搜尋模式都很有幫助。
• 平均有 74% 的研究人員認為自然語言搜尋能取得非常具有相關性的結果。
• 大學生則有67%表示用自然語言搜尋的體驗比他們以往使用過的其他搜尋引擎都要好。
• 也有87% 的大學生認為自然語言搜尋能更輕鬆的找到高品質的搜尋結果。
• 對於進階研究人員來說有 63%表示會選擇打開自然語言搜尋作為預設的搜尋模式。

多數意見回饋能看出自然語言搜尋有跟傳統搜尋模式互補的潛力，特別是在搜尋語句中包含問題詞句或修飾語的情況下，自然語言搜尋能更有效率的處理這些內容。

當Bata版測試的參與者用問題來進行搜尋時：
「我感到非常容易上手且不需要執行複雜的進階搜尋就能開始研究工作。此功能除了簡化整體搜尋過程也對新手或初學者非常友善。」— 取自Beta版測試的研究者回饋

當Bata版測試的參與者用非布林邏輯的修飾語進行搜尋時：
「我用社區大學生實際用過的搜尋詞彙取得結果讓我非常驚訝。其AI人工智慧工具即使搜尋語句結構混亂還是有辦法找出各種相關資料。但採用傳統的類似貼近的詞彙搜尋則完全找不到結果，例如: 去除人性化語言對我們有何影響，這組問題在傳統檢索模式下完全沒有結果，但用 AI人工智慧工具即可找到很多相關資料內容並顯示在首頁。再舉一例：用傳統搜尋模式來查找高中校園槍枝暴力的安全防範實施要點的結果為 0，但用AI模式工具卻能找到各種相關文章。我後續也多次進行其他詞彙的搜尋並用 AI模式找出相關的資源結果，但用傳統搜尋模式則找不到適當的資料內容。」— 取自Beta版測試的研究者回饋

問卷調查受訪者普遍表示自然語言搜尋能協助他們加快研究進度並降低在搜尋時一定要完美輸入正確的壓力，很多人對於 AI人工智慧工具能理解搜尋上下文這點感到「驚豔」。這對大學生和進階研究人員更重視節省時間和找到真正符合研究需要的文章來說非常重要。

「這項工具能掌握搜尋查詢的上下文來進一步提供更精確、相關的搜尋結果。此功能可協助使用者進行各種優化精準度的搜尋並取得更貼近研究問題的結果。」— 取自Beta版測試的研究者回饋

有一些共通的改善建議則像是希望自然語言搜尋模式能判斷使用者是否正在進行布林邏輯搜尋，並自動切換至傳統搜尋模式，或是讓自然語言搜尋模式更完善的處理布林邏輯查詢，特別是有 NOT 子運算搜尋。另外有些使用者也反饋自然語言搜尋產生的結果數量太多，可能讓研究人員感到不知從何著手。

「使用自然語言 Beta 版搜尋和傳統貼近詞搜尋模式所產生的結果對比數量差異非常驚人。常常在使用自然語言搜尋時會顯示多達 2 萬筆結果，但用貼近詞搜尋儘可能呈現 10 ~ 500 筆資料。雖然產生龐大的搜尋結果讓人更難縮小範圍，但藉由主題詞仍可多少解決這個問題。」— 取自Beta版測試的研究者回饋

參與者的查詢類型與涵蓋範圍非常廣泛多元。有些人會把自然語言搜尋當成關鍵字搜尋來使用(像是參與者的搜尋:「熱狗」)，也有人輸入完整問句(例如「女性參政權運動與禁酒令之間的關係?」) 或輸入有特定限制條件的精確搜尋(例如「排除分娩的硬膜外麻醉」）。也有部分進階研究者會刻意輸入隨機亂數或較困難問題(例如「埃及或夏天的異形藝術」)來測試搜尋引擎的容錯能力。參與者對這些搜尋提供的回饋是雖然算不上完美，但自然語言搜尋模式很明顯能提供更具相關性的結果並聚焦在研究主題的文本脈絡探索。」我們後續還會進行更多測試來探討、評估各種類型的搜尋情境以找出哪種搜尋模式能帶來最大的效益與更多改善空間。

EBSCO依據Beta版測試的參與者意見回饋調整了相關結果的篩選參數設定來減少結果列表顯示檢索筆數過多的情況。EBSCO 也正持續提升與改善自然語言搜尋對布林邏輯查詢的處理方式並進行更多樣化的查詢測試，例如用更多不同的提問與修飾語查詢、較長的詞句查詢、否定詞句的查詢等方式來測試這項全新的搜尋模式能更穩定且精確的運作。

雖然大多數的Beta版測試是在英文語境下進行，但部分用法文的測試參與者則希望自然語言搜尋能自動判斷使用者查詢的語言並在結果中優先顯示該使用語言的內容。另一項結果發現是不同的參與者對於「自然語言搜尋」的涵義理解都不同，所以目前仍需針對此搜尋模式的標示命名與紀錄說明進行評估調整。

對於自然語言搜尋的運作原理是否透明也是許多使用者關心的議題之一。

「我可以教使用者在用布林邏輯搜尋時編排設計出有效率的查詢或將搜尋結果不好的查詢改得更好，透過關鍵詞句或主題詞彙就能調整改善查詢結果。但 AI人工智慧搜尋模式不同的是我們無法清楚得知為何會得到某些查詢結果，這是用黑盒子的運算系統最具挑戰且麻煩的地方。」— 取自Beta版測試的研究者回饋

圖書館員希望能更清楚了解自然語言查詢是如何被解析、是否有進行詞彙擴展例如同義詞或相關詞，還有這些過程背後的邏輯與原則。EBSCO針對這部分不僅正在進行多項測試來嘗試加入更多透明層，像是顯示實際送出的查詢內容、標示是否有用 AI技術進行查詢解析，還深入探討是否能結合傳統與自然語言搜尋的優點。雖然很多人對於目前自然語言搜尋的使用方式仍抱持觀望態度，但大多表示樂觀且願意在系統後續改善後再次進行測試。

多數測試的參與者都認為自然語言搜尋模式能協助圖書館的新手研究人員能以更輕鬆的方式進行資料探索。也有參與者表示「我覺得這項工具操作起來非常簡潔直觀，我能想像這對學生來說會非常有幫助。」而另一位參與者則說「學生不需要學習進階搜尋技巧就能取得相關資料內容，這勢必讓研究工作變得更加容易。」不過大多數的測試參與者同時也認為傳統搜尋模式仍是他們目前正在執行或教導進階研究工作時的首選方式。

參與者提供的寶貴意見回饋已直接推動了自然語言搜尋模式的優化與改善。自然語言搜尋模式整體而言與傳統搜尋模式是非常良好的互補。當使用者不確定該如何輸入搜尋詞句而身邊又沒有圖書館員能即時協助時，自然語言搜尋模式就能讓使用者更順利操作系統並開始進行搜尋。自然語言搜尋模式在處理簡單的問題或包含特定條件修飾語的查詢上的表現對他們特別有幫助。雖然仍有些待改善的地方，但目前此模式已能針對某些傳統搜尋模式下不易處理的檢索操作提供更理想的搜尋結果。傳統搜尋模式在另一方面對於處理布林邏輯查詢與精準檢索方面還是具備強大的檢索效能。我們在這次測試中的重要收穫之一是將自然語言搜尋與傳統搜尋模式的優勢都整合在更完整的搜尋體驗裡，讓不同的搜尋模式都能符合不同需求且同時也替未來更多創新的搜尋應用鋪路。

我們還有一項重要發現與 AI 技術本身的發展有關。目前在學術界對於 AI技術如何應用和這項技術實際上如何運作仍有許多尚未釐清的不確定性。不過EBSCO還是一直秉持公開透明與合作的態度來持續製作教學資源並清楚記錄、說明我們如何運用 AI這項技術，同時與出版社、用戶攜手共同合作來理解AI人工智慧在學術領域中的角色應用與使用方式。

EBSCO 在2024 年 6 月正式推出 EBSCO AI技術的Beta版測試計畫。我們將針對每項測試成果發表類似這篇文章的重點摘要報告並預計在 2025 年初發表一篇完整的學術研究文章來探討我們團隊工作的各項成果和觀察發現如何融入更廣泛的AI 技術領域與學術研究的整體對話討論。