官網上線前,不只要確認人看得到,也要確認每個網址能提供搜尋引擎與人工智慧可讀的內容。我們自己的官網曾經每個路徑都回給爬蟲同一份網頁原始內容,瀏覽器裡有不同頁面,爬蟲卻讀不到對應資訊。後來我們改成每個路徑各有一份可讀內容,但這只是讀取基礎,不是排名或推薦保證。
為什麼人看得到 爬蟲卻可能看不到
單頁式網站常先傳回一份基本網頁,再靠 JavaScript 在瀏覽器中顯示不同頁面的內容。訪客點選服務或文章,看起來是在不同頁面;伺服器實際回傳的原始內容,卻可能仍是同一份空殼。頁面可以互動,不代表每個網址都已帶著完整資訊回傳。
有些搜尋工具會執行網頁程式並等待內容出現,有些爬蟲則主要讀取伺服器回傳的內容,能力與處理方式並不相同。因此不能假設訪客看到的畫面,所有搜尋引擎與人工智慧都會同樣讀到。也不是所有單頁式網站都有問題,關鍵是目前的交付方式與可讀內容。
我們自己的網站遇到過什麼
TriloAI 自己的官網曾出現不同路徑回傳同一份原始內容的狀況。人透過瀏覽器能看到各頁內容,但爬蟲拿到的不是該頁應有的資訊。我們後來改成每個路徑各自提供一份給爬蟲閱讀的內容,讓服務頁與文章不再只共用同一份外殼。
這段經驗只能說明問題與修正方式,不能延伸成流量提升、排名變化或被推薦次數。我們也不宣稱只要產生靜態內容就能解決所有搜尋問題。網站仍要確認網址、頁面資訊、內文與連結是否一致,更新後也需要持續檢查。
不會寫程式 也能先做基本檢查
先開一個服務頁與一篇文章,分別查看網頁原始碼,而不是只看瀏覽器顯示的畫面。可以使用瀏覽器的「檢視網頁原始碼」,搜尋該頁獨有的標題與一段正文。若兩個不同網址的原始內容都只找到相同網站名稱,卻找不到各頁段落,就值得再確認。
也可以比較每頁的標題與描述是否獨立,並確認公開網址沒有被登入或封鎖擋住。這些是初步線索,不是完整判定:原始碼裡有內容,不代表所有爬蟲一定能成功存取;找不到內容,也要由製作方確認是否有其他有效的輸出方式。
比較畫面與原始內容的檢查清單
- 直接開啟內頁網址,而不是只從首頁點进去,確認仍能正常顯示。
- 查看服務頁原始碼,搜尋這一頁特有的標題與正文。
- 查看文章原始碼,確認不是和服務頁完全相同的內容。
- 檢查頁面標題與描述,是否對應現在的網址和主題。
- 確認主要連結真的能開啟對應頁面,不是只有畫面中的按鈕。
- 請製作方說明內容如何提供給不執行網頁程式的爬蟲。
如果需要更深入確認,可以請技術人員比較一般請求與爬蟲請求的回應,檢查狀態、轉址與封鎖設定。但不要用「換個爬蟲名稱就看到內容」當作唯一驗收標準,公開使用者與搜尋來源都應拿到一致且對應頁面的事實。
上線前 每頁要有自己的資訊
每頁獨立的 title 與 description,應直接說明該頁主題,而不是全站都用相同介紹。服務頁談服務,文章頁談問題與答案;如果有中英文版本,也要對應各自的文字與網址。這些資訊最好能出現在伺服器回傳的內容,不只等瀏覽器執行後才改變。
頁面內文同樣要有清楚的標題與段落,讓內容不用依賴動畫、圖片中的文字或點擊後才出現。結構化資料應描述訪客真正看得到的內容,例如文章、服務與常見問題,不應另寫不存在的價格、案例或保證。
網站層級也要一起驗收
- sitemap:列出可公開存取的主要頁面與文章,網址要能開啟,新增頁面後同步更新。
- 結構化資料:每頁類型與正文相符,文章與常見問題資料要和可見內容一致。
- llms.txt:整理網站服務與內容入口,提供人工智慧閱讀的導覽參考,但不是所有平台必讀的規格。
- 爬蟲存取:確認沒有不必要的全面封鎖、錯誤轉址或登入限制。
- 更新一致性:正文、頁面描述與給爬蟲的內容不要停在不同版本。
這些項目不能互相替代。有網站地圖,不代表正文一定可讀;有結構化資料,不代表文章可以省略;有人工智慧導覽檔,也不代表搜尋平台一定會採用。驗收應逐項確認,而不是看到檔名存在就算完成。
把可讀性列成官網交付項目
我們的官網製作會評估搜尋與人工智慧可讀性的基礎優化,依方案包含或加購。如果你已有網站,也可以先檢查現況,不必一開始就決定整站重做。把需要修正的讀取、內容與網址問題列清楚,再安排製作或優化範圍。
我們不保證搜尋排名,也不保證被人工智慧推薦。先讓每頁內容可被讀取,是讓網站能被理解的基本工作;之後還要持續整理真實服務資訊與有用內容,不能把技術驗收當成搜尋成效的終點。
常見問題
- 瀏覽器看得到內容 就代表爬蟲看得到嗎?
- 不一定。瀏覽器可能靠網頁程式顯示內容,而爬蟲可能只讀原始回應;要確認每個網址實際提供了什麼。
- 單頁式網站一定要全部重做嗎?
- 不一定。先確認目前輸出方式,再評估預先產生各頁內容或其他合適方法,不因網站類型就直接判定必須重做。
- 有 llms.txt 就會被推薦嗎?
- 不會保證。它是內容導覽參考,不是所有平台必讀的規格,也不能代替可讀正文、正確網址與真實內容。
- 你們修正後有保證排名嗎?
- 沒有。我們的經驗是把不同路徑的原始內容改成各頁對應內容,並不代表已證明排名提升或保證搜尋與人工智慧採用。