1. 哪種方法的答案品質最好？ 視情況而定 2. 混合搜尋有比單一方法更好嗎？ 不一定，1/5 文字檢索較佳，1/5 向量較佳，其他沒影響 3. 如果要調整權重，你會怎麼改？ 感覺應該是提高檢索文件區塊數，再調整權重 4. 什麼情況下純 BM25 可能更好？ 有重要關鍵字時 5. 什麼情況下純向量搜尋可能更好？ 偏向語意上的問題時 下面是分析： 1. 會python 嗎? 文字檢索跟混合都能找出 python ，不適用純向量檢索 2. 有什麼技術經驗？ 兩者皆沒找到「python, pandas」等工具關鍵字，反而都是方法論 3. 有在台北工作嗎？ 文本故意有誤導性內容，但兩者都沒有被騙到 測試 4】問題：「他有專案管理經驗嗎？」 文字檢索只找到一個相關 語意檢索比較多，適合混合 5. 遇到熊怎麼辦 兩個都找到奇怪資料，沒差 下面是輸出訊息： 📄 準備了 13 個文件塊 ============================================================ 🗑️ 已清除舊的向量資料庫 🔍 建立 BM25 檢索器... 🧠 建立向量檢索器... 🤖 初始化 LLM... ============================================================ 🧪 三種搜尋方法對比實驗 ============================================================ 【測試 1】問題：「這個人會 Python 嗎？」 ---------------------------------------- === BM25 檢索結果 === 1. 我是一名軟體工程師，專長是 Python 和 API 開發。 曾經使用 pandas 進行資料處理，並有後端系統開發經驗。 目前正在學習 RAG 和 LLM 技... 2. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... === 向量檢索結果 === 1. ### 指導科技工具時的通靈能力 客戶（學員）反映在操作上某個步驟跟教學描述的不同， 產品上例如客戶無法送出某某表單，但我測試一直無法重現，就要去推敲客戶碰到的... 2. 我有 12 年 PHP/Drupal 網站系統維運和開發經驗，對於 Web 和 CMS 系統算十分上手。技術層面上，我熟悉 docker、GIT、LAMP 等工... === 混合檢索結果 === 1. 我是一名軟體工程師，專長是 Python 和 API 開發。 曾經使用 pandas 進行資料處理，並有後端系統開發經驗。 目前正在學習 RAG 和 LLM 技... 2. ### 指導科技工具時的通靈能力 客戶（學員）反映在操作上某個步驟跟教學描述的不同， 產品上例如客戶無法送出某某表單，但我測試一直無法重現，就要去推敲客戶碰到的... === 用混合檢索生回答 === 答案：是的，這個人會 Python。 上下文中有明確提到： * 「我是一名軟體工程師，專長是 **Python** 和 API 開發。」 * 「曾經使用 **pandas** 進行資料處理」 * 「**Python** 方面除了過往使用 **Pandas**、**Jupyter** 等工具進行資料整理外，在今年從事兼職專案過程中，也有透過 AI 輔助完成 API 開發及資料庫整合等開發工作。」 * 「目前正在學習 RAG 和 LLM 技術，準備應徵 AI 軟體開發工程師。」（RAG 和 LLM 技術通常 heavily 依賴 Python） -------------------------------------------------- 【測試 2】問題：「這個人有什麼技術經驗？」 ---------------------------------------- === BM25 檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. ### 指導科技工具時的通靈能力 客戶（學員）反映在操作上某個步驟跟教學描述的不同， 產品上例如客戶無法送出某某表單，但我測試一直無法重現，就要去推敲客戶碰到的... === 向量檢索結果 === 1. 當時需要的是管理員接到講座申請單後，就從現有協會講師名單立刻詢問可出席的講師 那時跟 PM 和另一位帶領的 Junior 工程同仁協作，最大的挑戰是要在短短三週... 2. 在前公司網絡行動科技的職務期間，精進了我各種工作所需職能，包括解決問題、溝通、撰寫文件等能力。同時也強化了硬實力的基礎，包括 SDLC 架構的軟體開發、獨立專案... === 混合檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. 當時需要的是管理員接到講座申請單後，就從現有協會講師名單立刻詢問可出席的講師 那時跟 PM 和另一位帶領的 Junior 工程同仁協作，最大的挑戰是要在短短三週... === 用混合檢索生回答 === 答案：這個人擁有以下技術經驗： 1. **開發技術掌握**：對整個開發技術有全面掌握，包括如何撰寫各功能。 2. **系統客製化**：能夠對 CRM 和 CMS 系統進行客製化。 3. **軟體開發方法論**： * 主導並實踐類似 Scrum 的開發流程。 * 進行 Sprint 開發（每兩個工作天一次 Sprint 和進度會議）。 * 將需求和功能切分成可核對的 check list。 * 掌握 SDLC (Software Development Life Cycle) 架構的軟體開發。 * 實踐 TDD (Test-Driven Development)。 4. **專案管理與架構**： * 具備專案評估能力。 * 掌握系統架構能力。 * 能夠獨立建置專案。 * 成功如期交付專案（例如在三週內完成整個系統開發）。 5. **系統開發經驗**： * 曾開發一個完整的系統，用於管理員處理講座申請單，並詢問講師出席狀況。 6. **資安導向**：具備資安導向的工程維運能力。 7. **AI Coding 工具**：掌握多種 AI Coding 工具，如 Claude code, Github Spec Kit, Notebook LM。 -------------------------------------------------- 【測試 3】問題：「他有在台北工作過嗎？」 ---------------------------------------- === BM25 檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. ### 指導科技工具時的通靈能力 客戶（學員）反映在操作上某個步驟跟教學描述的不同， 產品上例如客戶無法送出某某表單，但我測試一直無法重現，就要去推敲客戶碰到的... === 向量檢索結果 === 1. 當時需要的是管理員接到講座申請單後，就從現有協會講師名單立刻詢問可出席的講師 那時跟 PM 和另一位帶領的 Junior 工程同仁協作，最大的挑戰是要在短短三週... 2. 在前公司網絡行動科技的職務期間，精進了我各種工作所需職能，包括解決問題、溝通、撰寫文件等能力。同時也強化了硬實力的基礎，包括 SDLC 架構的軟體開發、獨立專案... === 混合檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. 當時需要的是管理員接到講座申請單後，就從現有協會講師名單立刻詢問可出席的講師 那時跟 PM 和另一位帶領的 Junior 工程同仁協作，最大的挑戰是要在短短三週... === 用混合檢索生回答 === 答案：根據提供的上下文，沒有提到他是否在台北工作過。 -------------------------------------------------- 【測試 4】問題：「他有專案管理經驗嗎？」 ---------------------------------------- === BM25 檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. ### 指導科技工具時的通靈能力 客戶（學員）反映在操作上某個步驟跟教學描述的不同， 產品上例如客戶無法送出某某表單，但我測試一直無法重現，就要去推敲客戶碰到的... === 向量檢索結果 === 1. 當時需要的是管理員接到講座申請單後，就從現有協會講師名單立刻詢問可出席的講師 那時跟 PM 和另一位帶領的 Junior 工程同仁協作，最大的挑戰是要在短短三週... 2. 在前公司網絡行動科技的職務期間，精進了我各種工作所需職能，包括解決問題、溝通、撰寫文件等能力。同時也強化了硬實力的基礎，包括 SDLC 架構的軟體開發、獨立專案... === 混合檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. 當時需要的是管理員接到講座申請單後，就從現有協會講師名單立刻詢問可出席的講師 那時跟 PM 和另一位帶領的 Junior 工程同仁協作，最大的挑戰是要在短短三週... === 用混合檢索生回答 === 答案：是的，他有專案管理經驗。 上下文提到： * 他「主導以類似 Scrum 的流程來和工程同仁分工開發，每兩個工作天就做一次 Sprint 並且開進度會議，並把所有需求和功能切分成 2 天一次核對的 check list」。這明確顯示他參與並主導了專案的規劃、執行和進度管理。 * 他具備「專案評估能力」。 * 他成功「如期交付」專案，沒有拖延到交付時間。 這些都證明他具備專案管理的能力和經驗。 -------------------------------------------------- 【測試 5】問題：「如果遇到熊應該怎麼辦？」 ---------------------------------------- === BM25 檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. ### 指導科技工具時的通靈能力 客戶（學員）反映在操作上某個步驟跟教學描述的不同， 產品上例如客戶無法送出某某表單，但我測試一直無法重現，就要去推敲客戶碰到的... === 向量檢索結果 === 1. 我是一名軟體工程師，專長是 Python 和 API 開發。 曾經使用 pandas 進行資料處理，並有後端系統開發經驗。 目前正在學習 RAG 和 LLM 技... 2. - 一開始我在面對群眾是會怯場的人，加上剛開始我們的受眾多是年長者，例如第一場是社區發展協會的姊姊們，我要說明假新聞的觀念+闢謠工具介紹，除了擔心台風不好也很在... === 混合檢索結果 === 1. - 基本功是對整個開發技術的掌握，包括公司使用的 CRM 和 CMS 系統如何進行客製，各功能用什麼方法撰寫 - 方法論：主導以類似 Scrum 的流程來和工程... 2. 我是一名軟體工程師，專長是 Python 和 API 開發。 曾經使用 pandas 進行資料處理，並有後端系統開發經驗。 目前正在學習 RAG 和 LLM 技... === 用混合檢索生回答 === 答案：根據您提供的上下文，並沒有提及遇到熊時應該怎麼辦的資訊。 --------------------------------------------------