作為網(wǎng)上創(chuàng)業(yè)的一個項目,新上馬的一個網(wǎng)站,上馬網(wǎng)站第一天提交,第二天就收錄首頁,并且品牌關鍵詞又不錯的排名。但是第三天出現(xiàn)了一個問題,就是百度快照變成了只剩下網(wǎng)址了,而且快照內(nèi)容是空白.
早上SITE,百度收錄,到了晚上SITE,就發(fā)現(xiàn)被K了,到第二天早上,SITE一下,有收錄,還是只有網(wǎng)址,同時關鍵詞排名消失!這樣的情況到現(xiàn)在維持了有一個禮拜左右了,但是快照仍舊是只顯示網(wǎng)址。
出現(xiàn)這個問題,開始的時候心理不進害怕,難道網(wǎng)站剛上線就受到百度的懲罰了?心理不免疑問,網(wǎng)站也沒有違規(guī)操作,外鏈只是手工發(fā)了幾條,并沒有過激行為。
在百度上查找,發(fā)現(xiàn)有同學出現(xiàn)相同的問題,但是并沒有找到有效的解決辦法。在谷歌搜索的時候,看到一個問題,就是大家都知道淘寶是屏蔽百度蜘蛛的,可以打開淘寶的robots.txt文件看一下,但是在百度搜一下淘寶還是有搜索結果的,也是只有網(wǎng)址,快照沒有顯示內(nèi)容
由此我想到,一定是蜘蛛抓取不到網(wǎng)頁的頁面內(nèi)容所致,而阻擋百度蜘蛛的一定就是robots.txt,我突然想起來,由于中間我換了后臺的CPS,根目錄下的文件夾有變化,就把robots.txt內(nèi)容修改過,我想這可能是百度蜘蛛抓取不到頁面的原因,因為百度對robots.txt的反應是有一段時間的。但是我又在想,這次改動,并沒有禁止過蜘蛛爬行的語句。我心里覺得問題還不在于這次改動。
我有個習慣,就是在百度正式上馬之前,習慣用robots.txt禁止蜘蛛爬行,為的是怕蜘蛛提前收錄未架構好的網(wǎng)站,想吧網(wǎng)站架構好之后,在完全放開。這個習慣的初衷是好的,對于谷歌是絕對沒問題的。但是大家都知道,百度是比較弱智的,在更新方面也是比較遲鈍的,根據(jù)大家的經(jīng)驗,百度對 robots.txt的反應是有一段時間的,因此我斷定,我的網(wǎng)站,百度還是認為在之前的robots禁止狀態(tài)。如果不出意外的話,過了這段適應期,百度是會重新收錄的,因為此時我的robots文件是正常的。
由此次問題看出,提前禁止百度蜘蛛爬行,對于百度未必是好的方法,最好的方式,就是在網(wǎng)站上嗎之前,提前做好整個企劃,網(wǎng)站構建在盡量短的時間內(nèi)完成,而不是像我之前,先禁止蜘蛛爬行,然后網(wǎng)址慢慢完善,這樣就有可能出現(xiàn),百度對之前的robots.txt禁止狀態(tài)長時間反應不過來,就會造成百度只收錄網(wǎng)址,快照顯示空白的情況發(fā)生。
下面是找到的兩個,看起來比較靠譜的原因:
一是,空間質量不好,百度蜘蛛抓取首頁有誤,導致快照空白。(我使用的空間良好,不存在這個問題,因此不是這個原因)。
二是,網(wǎng)站首頁程序的原因。
仔細查看網(wǎng)站程序后臺設置和前臺文件,發(fā)現(xiàn)首頁有兩個文件,一個是index.asp,另一個是index.html,而空間配置的默認首頁文件是 index.html照常理應該是優(yōu)先訪問index.html的,這個是靜態(tài)文件,出于安全起見先把index.asp暫停使用,對于網(wǎng)站的訪問和后臺的文件生成沒有影響,于是將index.asp刪除掉,等待收錄情況。第二天早上用站長工具查詢時發(fā)現(xiàn)首頁快照收錄正常,快照日期是最新的,快照內(nèi)容也有了,標題的收錄也完整了。至此,百度快照收錄空白內(nèi)容的情況已完全解決。
對于這個原因,我曾以為我就是這個原因,因為曾更換了我的首頁文件,因為功能需要,我把index.html修改為index.php了,這樣就有可能是百度一直收錄的我的html首頁,而不收我的php。但是我也做出否定,因為我已經(jīng)刪除index.html,我的后臺只有index.php這個首頁文件,不存在蜘蛛收錄一個不存在的首頁的情況。除非首頁還在百度的緩存中,但是已經(jīng)一個禮拜了,k了收,收了k,快照隔天??臻g后臺也是把 index.php作為默認首頁。
因此,唯一讓我認可的還是曾經(jīng)使用robots文件禁用過百度蜘蛛的原因,百度比較呆,看別人的案例,有的情況是,禁止爬行發(fā)開后,四十多天才會重新收錄的案例。因為我認為,可能是百度蜘蛛對robots的反應慢,依然認為是在被禁止。下面是我搜索遇到的一種說法:
這個現(xiàn)象目前主要有幾種可能
2.百度對robots的更新 要一段時間, 如果要讓其更快反映,請先刪除robots.txt ,猜測 之前禁止過蜘蛛。
我暫時先認可這種辦法,先吧robots文件刪除,以圖百度快點反應過來,重新收錄首頁!有沒有效果,后期會在這篇文章末尾補充。
補充:就在剛剛這篇文章完成之時,我回頭SITE了一下,發(fā)現(xiàn)快照竟然恢復了,
我不知道是我今天投訴快照的原因,還是,我把后臺的默認首頁,全都刪掉的原因,如果能保持長久不再恢復的話,那就是默認首頁的問題了,但是我還是覺得,可能是今天投訴快照的原因。拭目以待,繼續(xù)觀察中……
更多信息請查看IT技術專欄