誰決定了網頁的抓取頻率?

許多人會抱怨搜尋引擎通常很久才來抓資料,就算來抓了資料,也都抓幾頁資料就離開了。到底誰決定了網頁的抓取頻率?

我們在SEO關鍵解碼書中說過,你自己才是決定網頁抓取頻率的人。

也就是搜尋引擎隔多久來抓取你的網頁資料?搜尋引擎每次會抓取多少資料?不是搜尋引擎自己決定的。

請看下圖,這是戰國策硬碟毀損事件發生後,Google到本站抓取資料的趨勢圖:

google webmasters

戰國策硬碟毀損事件發生後,資料量驟減,並且本站也停止內容更新,再加上戰國策當時系統連線時好時壞。

GoogleBot發現有時無法連線,所以就降低了資料抓取。

GoogleBot發現資料量驟減,所以就降低了資料抓取。

GoogleBot發現資料更新停止,所以就降低了資料抓取。

雖然很不幸的發生戰國策硬碟毀損事件,但是我們將利用這個特殊的機會,把慘劇中得到的寶貴驗證,提出來給大家參考。

引用來源: 誰決定了網頁的抓取頻率?

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *


*