V2 真人驗證 Runbook
這不是另一份產品架構文件。
目前狀態:後置,不主導產品方向
本 Runbook 目前保留,但暫不作為 V2 的最高優先工作。
先完成:
- 產品正典。
- Drift Guard(
../internal/DRIFT_GUARD.md——製作方參考,不隨包交付)。 - 四元件、三軌、Founder 與工程分期的固定邊界。
目前真人測試不是 PMF、conversion 或一般 SaaS onboarding 優化,而是:
意圖保真測試:確認參與者沒有把 Starter Kit 誤解成 LINE Bot 教學、Gemini 免費機器人或另一套 SaaS 安裝流程。
首次成功時間與安裝完成率仍可記錄,但不能反過來覆寫產品正典。
目前這份 Runbook 的實驗屬於 Experiment Layer:
- 可以測文案、影片、CTA、教學順序與 Founder 對話。
- 不需要因為每次試驗就修改產品正典。
- 結果先進 Learning Layer。
- 只有產品語義或邊界真的需要改變,才進 Canon Layer。
實驗紀錄可使用 Experiment Layer 實驗模板(../internal/EXPERIMENT_TEMPLATE.md——製作方參考,不隨包交付)。
實驗完成後,將可重用的 observation 登記到 Learning Ledger(../internal/LEARNING_LEDGER.md——製作方參考,不隨包交付),不要直接修改產品正典。
它只用來回答三個問題:
- 沒有背景知識的人,能不能自己走到下一步?
- 從打開 Starter Kit 到第一個 AI 回覆,實際需要多久?
- Founder AI Manager 是否真的讓人感受到「被理解」的差距?
驗證原則
- 不先教參與者怎麼做。
- 不在測試中替參與者修正流程。
- 只記錄非敏感的行為、時間、困惑與證據。
- 不要求參與者提供 API Key、Channel Secret、Access Token 或客戶個資。
- 失敗不是測試失敗;找不到下一步才是產品需要修正的訊號。
- 先跑人工版,再決定哪些步驟值得半自動化。
實驗順序
實驗 1:陌生人無提示 walkthrough
↓
修正最明顯的理解摩擦
↓
實驗 2:首次成功時間
↓
確認真正的慢點與放棄點
↓
實驗 3:Founder 差距與轉換
↓
決定下一輪內容、Troubleshooter 與半自動 Wizard實驗 1:陌生人無提示 walkthrough
目標
確認完全不了解 AI 經理人背景的人,能否只看 Starter Kit:
- 說出自己的第一個小工作。
- 找到人工 Setup Checklist。
- 知道下一步要做什麼。
- 卡住時找到 AI Troubleshooter。
操作
- 給參與者 README 連結。
- 只說:「請你試著用這份 Starter Kit 建立一個自己的 AI 工作入口。」
- 不補充產品背景,不示範按哪裡。
- 請參與者說出正在想什麼,但不引導答案。
- 記錄每一次停頓、回頭、詢問與誤解。
主持人可以說
- 「你現在會怎麼理解這一頁?」
- 「你接下來想做什麼?」
- 「你覺得這個詞是什麼意思?」
- 「如果現在卡住,你會去哪裡找幫助?」
主持人不能說
- 「你應該點這裡。」
- 「這個其實就是 Webhook。」
- 「你先照我說的做。」
- 「這一步很簡單。」
通過條件
- 能用自己的話說出第一個小工作。
- 能找到 Setup Checklist。
- 能說出成功是看到自己的第一個 AI 回覆。
- 能找到 Troubleshooter。
- 沒有因為文件要求而貼出秘密。
實驗 2:首次成功時間
目標
測量:
從打開 Starter Kit 到使用者真的用自己的官方 LINE 收到第一個 AI 回覆,實際需要多久。
這一輪先記錄真實分布,不先承諾 30 分鐘或 2 小時。
起止點
開始:
- 參與者第一次打開 README 的時間。
結束:
- 參與者在自己的官方 LINE 看到第一個 AI 回覆的時間。
里程碑
T0 開始閱讀
T1 說出第一個小工作
T2 確認自己的官方 LINE
T3 保存自己的必要設定
T4 LINE Verify 或 equivalent evidence
T5 Gemini 連接確認
T6 第一次測試訊息送出
T7 第一個 AI 回覆觀察到
T8 若失敗,Troubleshooter 恢復或人工交接要記錄的不是只有時間
- 哪一個 stage 最久。
- 哪一個詞造成停頓。
- 參與者是否回頭重讀。
- 參與者是否知道自己成功了。
- 參與者是否知道下一步。
- 參與者是否在卡住後放棄。
- 是否需要主持人提示。
通過條件
第一輪不設定漂亮數字,先建立 baseline。
至少要能知道:
- 中位完成時間。
- 最常見的第一個停點。
- 最常見的放棄點。
- Troubleshooter 使用率。
- 人工交接率。
實驗 3:Founder AI Manager 差距與轉換
目標
確認使用者是否感受到:
普通 Gemini 是回答;Founder AI Manager 是先理解我的工作,再判斷 AI 可以在哪裡幫我。
操作
給參與者同一個簡短情境:
我是預約制工作室,客人常在晚上問價格和空檔。
我現在最困擾的是沒有辦法每次即時回覆。先請他向普通 Gemini 提問,再請他向 Founder AI Manager 描述同一個情境。
不要先介紹 Founder 的功能清單。
觀察
請參與者在每次對話後回答:
- 哪個回答比較像在回答問題?
- 哪個回答比較像在理解你的工作?
- 哪個回答有指出下一步?
- 哪個回答有說清楚限制?
- 你願不願意把自己的工作再多說一點?
- 你願不願意了解下一步協作或導入?
簡單評分
每項 1–5 分:
| 指標 | 問題 |
|---|---|
| 情境理解 | 它有沒有抓到我真正的工作情境? |
| 相關性 | 它說的是否和我的工作有關? |
| 邊界感 | 它有沒有清楚說明不能直接承諾的事? |
| 下一步 | 它有沒有指出一個可開始的小工作? |
| 被理解感 | 我是否感到它真的在理解我? |
| 探索意願 | 我是否想知道更完整的 AI 經理人? |
通過訊號
- 參與者自發說出「它比較懂我的情況」。
- 參與者願意補充公司、客戶或工作背景。
- 參與者能指出一個更適合自己的 AI 小工作。
- 參與者主動詢問下一步,而不是只問功能列表。
測試紀錄
請使用 SESSION_TEMPLATE,不要把秘密或客戶資料寫進紀錄。
真人測試前的必要條件
- 有可以讓參與者使用的測試帳戶或測試路徑。
- 參與者知道不要提供秘密。
- 有實際 Founder AI Manager 入口,或清楚標記本輪只能做 script test。
- 有 Owner 提供的展示影片與自媒體素材,或明確標記尚未接入。
- 有人工協作人員可以接手,不讓參與者卡在無人處理的狀態。