巧妙運用網站翻頁提升蜘蛛的爬取量

2019-09-10 14:56:02| 編輯: 網絡公司| 查看: |

  翻頁通常出現于列表分頁和內容分頁兩個地方。
 
  1、不要盲目更改列表分頁
 
  正常的網站中,翻頁是避不可少的事,有的網站部分分類中的信息列表可能有幾千個分頁,分頁過多就將會對Spider對網站的抓取造成阻礙。假如網站更新頻率并不是很迅速,分頁過多是長期積累出來的,列表中的內容基本上都被Spider抓取過了,這樣是沒有太問題的,可是針對每日更新量較為大的網站或是網站目錄,每天可能都有超出幾十分頁列表內容或信息產生,這時就為Spider對網站內容的抓取造成了阻礙。
 
  還可以依據網站類型進行按時間歸檔形式的分頁。將每天的內容或信息做一個歸檔,對歸檔內的信息在進行分頁,這樣就能夠使Spider較為方便地抓取網站的新內容了。
 
  注意到網絡上帶有許多貼子在強烈推薦應用這種格式的分頁,可是假如網站每天更新的信息都不足一個列表,普通正常的分頁就行了,沒有必要刻意追求這種格式。這種格式的目的是讓Spider便捷地抓取每天的新內容,假如Spider能夠便捷地抓取了,還盲目跟風麻煩技術人員干什么?做為SEO人員應當搞清楚每一種修改和設置的原理,而不是盲目跟風。在SEO中一切策略全是有使用前提的。
 
  通常網站會有主目錄和別的條件的聚合列表。主目錄的關鍵目地是為了讓Spider便捷抓取整站內容,列表首頁也有競爭關鍵詞排名的功效;聚合列表通常只需要首頁來競爭排名。因此以上翻頁的修改是針對于主目錄的,聚合列表的翻頁鏈接可以全部nofollow掉或是應用JS調用,甚至直接不給分頁。沒有必要為Spider設置多個入口抓取網站內容,同時還可以降低不必要的權重浪費。
抓取內容
 
  2、注意首頁和“第1頁”
 
  許多網站都存有這一問題:列表首頁的URL是一個目錄,可是首頁的內容和列表第1頁是完全相同的,而且兩個URL在站內是并存的,這就出現了URL規范性的問題。此時通常有兩種解決方案,一種是把分頁第1頁301到列表首頁的URL上,或是直接把全部分頁第1頁的鏈接直接使用列表首頁的URL,使第1頁的URL不出現在網站中;第二種是為列表首頁獨立設計一個頁面,和列表第1頁的內容不重復。兩種方式都能夠解決這一問題,第一種方式略微簡單一點兒,也是最普遍的,但是第二種方式能夠布局大量的關鍵詞,首頁和列表頁第一頁都能夠得到較為多的內鏈權重,從而能夠擁有承擔更多關鍵詞排名的能力。
 
  3、不要浪費內容翻頁
 
  有許多網址為了增加PV,會為一篇文章設置很多的分頁,可是這些分頁的標題并不是全部一樣就是在首頁標題的后邊加了一個頁碼。能被搜索引擎收錄和排名的幾乎上只有文章第1頁。因為各分頁的內容不一樣,標題卻同一樣,因此盡管搜索引擎可能會識別分頁,可是網站卻浪費了大量收錄和排名機會。因為各分頁的內容不一樣,因此完全能夠為每個分頁做一個不一樣的標題,這樣不但能夠吸引住用戶瀏覽分頁的內容,同時每個分頁還可以做為獨立的頁面做不同關鍵詞的排名。
?
QQ在線咨詢
服務咨詢熱線
0535-6656286
18954596457
返回頂部
成年片黄网站色大全免费