許多人會抱怨搜尋引擎通常很久才來抓資料,就算來抓了資料,也都抓幾頁資料就離開了。到底誰決定了網頁的抓取頻率?
我們在SEO關鍵解碼書中說過,你自己才是決定網頁抓取頻率的人。
也就是搜尋引擎隔多久來抓取你的網頁資料?搜尋引擎每次會抓取多少資料?不是搜尋引擎自己決定的。
請看下圖,這是戰國策硬碟毀損事件發生後,Google到本站抓取資料的趨勢圖:
當戰國策硬碟毀損事件發生後,資料量驟減,並且本站也停止內容更新,再加上戰國策當時系統連線時好時壞。
GoogleBot發現有時無法連線,所以就降低了資料抓取。
GoogleBot發現資料量驟減,所以就降低了資料抓取。
GoogleBot發現資料更新停止,所以就降低了資料抓取。
雖然很不幸的發生戰國策硬碟毀損事件,但是我們將利用這個特殊的機會,把慘劇中得到的寶貴驗證,提出來給大家參考。
引用來源: 誰決定了網頁的抓取頻率?