在我們一個(gè)新的網(wǎng)站搭建好之后,要想讓搜索引擎盡快收錄,就要吸引蜘蛛盡快來(lái)我們的網(wǎng)站進(jìn)行抓取。要想搞清楚百度蜘蛛的爬行思路,那么我們要分析百度蜘蛛是從哪幾個(gè)渠道來(lái)到你網(wǎng)站的,企盾分響認(rèn)為,百度蜘蛛主要從這三個(gè)方面來(lái)爬行你的站點(diǎn)的。
搜索引擎提交
當(dāng)我們建好網(wǎng)站以后,我們會(huì)把網(wǎng)站的鏈接主動(dòng)提交到搜索引擎,經(jīng)過(guò)我們這樣一提交,那么搜索引擎知道你的站點(diǎn),這才考慮收錄,當(dāng)然如果我們首頁(yè)被收錄了以后,我們會(huì)做網(wǎng)站地圖,然后提交到搜索引擎,做的多一點(diǎn)的人會(huì)做主動(dòng)提交功能來(lái)實(shí)現(xiàn)自動(dòng)提交到搜索引擎,那么這樣一來(lái)搜索引擎能夠很快的知道你的網(wǎng)站。
瀏覽器偷窺
當(dāng)我們建好站點(diǎn)以后,我們將網(wǎng)頁(yè)不發(fā)給然后人,僅僅使用瀏覽器打開(kāi)一下,那么這一下瀏覽器可以偷窺到你的網(wǎng)址鏈接,從而主動(dòng)提交到搜索引擎,達(dá)到收錄的效果,那么這一證據(jù),360曾測(cè)試過(guò)百度搜索引擎,360的工作人員建了一個(gè)站點(diǎn),僅僅使用百度瀏覽器打開(kāi),第二天居然網(wǎng)頁(yè)被收錄了。如果說(shuō)不是百度瀏覽器偷窺到這個(gè)站點(diǎn)的域名,百度沒(méi)有其他渠道可以抓取到這個(gè)鏈接的。
外鏈抓取
那么第三個(gè)也就是我們發(fā)布的外鏈,搜索引擎會(huì)抓取一些已經(jīng)收錄的站點(diǎn),從別人的站點(diǎn)上看到了你的網(wǎng)址,從而來(lái)到你的站點(diǎn)抓取你的網(wǎng)站,達(dá)到收錄的效果,所以我們做SEO的經(jīng)常發(fā)布外鏈,當(dāng)然發(fā)布外鏈不僅僅是讓搜索引擎收錄,本文僅僅只是介紹收錄。所以外鏈的其他作用,這里就不多做介紹了。
如何讓百度蜘蛛迷路
那么我們了解到百度蜘蛛是通過(guò)上面三個(gè)渠道抓取你的站點(diǎn),我們也可以很好的讓百度蜘蛛在你的站點(diǎn)迷路,迷路是什么意思呢,簡(jiǎn)單的說(shuō)就是讓蜘蛛來(lái)到你網(wǎng)站,根本出不去,可以抓取到更多的頁(yè)面。
方法一:在首頁(yè)建立很多個(gè)錨文本內(nèi)鏈,因?yàn)橐粋€(gè)網(wǎng)站最容易被抓取的是首頁(yè),那么我們將首頁(yè)的權(quán)重分散到任何頁(yè)面,在首頁(yè)建立很多個(gè)內(nèi)鏈,這樣可以將首頁(yè)的蜘蛛很好的分散到其他頁(yè)面,但首頁(yè)的權(quán)重相對(duì)也會(huì)降低,這樣首頁(yè)基本是做不了排名的。并且首頁(yè)的錨文本鏈接每天更換。
曾經(jīng)在黑帽淘寶客站點(diǎn)上看到的一種SEO思路,首頁(yè)沒(méi)有任何關(guān)鍵詞排名,內(nèi)頁(yè)600萬(wàn)個(gè),關(guān)鍵詞600萬(wàn)個(gè),首頁(yè)每天不斷更換關(guān)鍵詞,不斷讓百度蜘蛛抓取新的頁(yè)面。而新的頁(yè)面底部也會(huì)很多個(gè)錨文本,這樣下去,百度蜘蛛是非常容易在你的站點(diǎn)迷路。目前這種形式優(yōu)化的站點(diǎn)也有非常多,只是沒(méi)有那么明顯。我們可以看得出門(mén)戶(hù)網(wǎng)站基本比企業(yè)網(wǎng)站收錄的多,為什么呢,因?yàn)殚T(mén)戶(hù)網(wǎng)站首頁(yè)推薦的鏈接比企業(yè)網(wǎng)站多,所以?xún)?nèi)頁(yè)收錄相對(duì)較多。當(dāng)然這排除企業(yè)網(wǎng)站內(nèi)容比門(mén)戶(hù)網(wǎng)站內(nèi)容少的情況下。
方法二:建立蜘蛛池程序,讓蜘蛛池程序不斷將百度蜘蛛帶入你的站點(diǎn),蜘蛛池的原理很簡(jiǎn)單,其實(shí)就是通過(guò)泛域名建立頁(yè)面讓搜索引擎抓取泛域名,然后泛域名引蜘蛛到你的新站點(diǎn)上,這樣的泛域名非常多,幾乎上萬(wàn)個(gè)一天,所以引蜘蛛的效果非常好。
但是,目前很多小域名,百度根本不放在眼里,所以就算你建立了再多的泛域名,可能蜘蛛也不會(huì)抓取,因此如果你能夠拿到大型網(wǎng)站的泛域名權(quán)限,建立蜘蛛池不斷引蜘蛛到你的站點(diǎn),那么效果會(huì)非常好,當(dāng)然拿不到大型網(wǎng)站的泛域名解析權(quán)限,可以先養(yǎng)一段時(shí)間你的域名,這樣也可以出現(xiàn)很好的效果。