網(wǎng)頁長度也會影響網(wǎng)站收錄嗎?百度站長學(xué)院前幾天公布了一個案例,里面提到一些細節(jié),特別值得站長重視。它這個頁面對爬蟲爬取做的優(yōu)化,直接將圖片二進制內(nèi)容放到了html中導(dǎo)致頁面長度過長,大小164K,導(dǎo)致內(nèi)容不被百度收錄。
網(wǎng)站如果針爬蟲做優(yōu)化,那么網(wǎng)頁的長度最要在128K以內(nèi),不要過長。不然爬蟲抓取內(nèi)容后,頁面內(nèi)容過長被截斷,已抓取部分無法識別到主體內(nèi)容,最終導(dǎo)致頁面被認定為空短而不收錄。
言下之意,這可能是百度技術(shù)缺陷導(dǎo)致,如果網(wǎng)頁在128K以上,爬蟲無法抓取就無法收錄。如果各位站長的網(wǎng)站內(nèi)容過長,盡量刪除一部分不太重要的信息,以保證內(nèi)容收錄。
百度工程師建議:
1、不建議站點使用js生成主體內(nèi)容,如js渲染出錯,很可能導(dǎo)致頁面內(nèi)容讀取錯誤,頁面無法抓取
2、 如站點針對爬蟲爬取做優(yōu)化,建議頁面長度在128k之內(nèi),不要過長
3、針對爬蟲爬取做優(yōu)化,請將主題內(nèi)容放于前方,避免抓取截斷造成的內(nèi)容抓取不全