網(wǎng)站頁面的長度大小和收錄的關系

    以下說法引用百度官方工程師在社區(qū)對一個SEOer的回答。該SEOer對圖片做了爬蟲優(yōu)化，反而導致了高質(zhì)量頁面無法被百度收錄。針對這個問題做了針對性回答。

工程師分析：

    1、網(wǎng)站針對爬蟲爬取做的優(yōu)化，直接將圖片二進制內(nèi)容放到了html中導致頁面長度過長，網(wǎng)站頁面長度達164k；

    2、 站點優(yōu)化后將主體內(nèi)容放于最后，圖片卻放于前面；

    3、爬蟲抓取內(nèi)容后，頁面內(nèi)容過長被截斷，已抓取部分無法識別到主體內(nèi)容，最終導致頁面被認定為空短而不收錄。

工程師建議：

    1、不建議站點使用js生成主體內(nèi)容，如js渲染出錯，很可能導致頁面內(nèi)容讀取錯誤，頁面無法抓取

    2、 如站點針對爬蟲爬取做優(yōu)化，建議頁面長度在128k之內(nèi)，不要過長

    3、針對爬蟲爬取做優(yōu)化，請將主體內(nèi)容放于前方，避免抓取截斷造成的內(nèi)容抓取不全。