在網站建設的網站結構分析之前，要理解搜索引擎蜘蛛是擬人化的算法而已。算法就是按部就班的執行事先設計的抓取策略，所以良好的網站結構具備引導、分配權重、提高抓取效率等作用，只有內部框架搭建好之后，內容的布局才能井然有序，蜘蛛才能有序爬行。
       一邏輯上全部爬行:
          1、網站結構優化
          網站物理結構，即基于內容聚合的目錄及文件位置決定的結構。目前的主流思維就是網站扁平化設計，即平行結構。
          主要實現方式：
          A、簡單的上下頁操作；
          B、在A的基礎上增加頁面的選擇性；
          C、目前主流的列表頁設計方式交流性比較合理
  
         頁的扁平化設計，頁一般是權重高的頁面，也是蜘蛛先訪問的頁面。所以在頁鏈接對于頁面的“重要性”有一定的影響，但往往一個網站的頁面成千上萬，頁的鏈接數理論上維持-100-150是合理的，所以將想要頻道頁，詳細頁在頁留下鏈接，實現邏輯上頁扁平化設計。同樣適用頻道頁等聚合屬性的頁面。
         那么問題來了，面對數量巨大頁面，如何保證都可以實現被爬行抓取？
         樹型結構的輔助，就是為了解決扁平化帶來的不足，在導航欄，面包屑導航等設計頁面層思維，輔助蜘蛛對網站結構的理解。
         總體上扁平化+樹型結構才是合理的網站結構優化策略組合。
        2、鏈接結構優化
        兩種蜘蛛抓取不到的頁面：網站本身不希望被收錄的頁面；沒有鏈接到達的頁面，即孤島頁面。對于沒有被頁推薦的頁面，可以再內鏈上補充。合理的內鏈就是一個四通八達、井然有序的交通系統，蜘蛛就是來往的車輛。社會化、描文本、設置鏈接入口等。
        3、Domain結構優化
        主要是二域名和二目錄的選擇策略。沒有的好與不好，只有適應當前發展的核心才是第重要的。所以要根據自身特點選擇合理的Domain策略。
       二、重要性的主導
       對于搜索引擎來說，什么樣的頁面會被認為“更重要”？有句話是這么說的：每一個鏈接都是一個投票，意思是：頁面的所有鏈接都是投票。在搜索引擎看來：獲得更多內部投票的網頁來說更加重要。 
      三、網頁的標簽：關鍵詞
       搜索引擎在分析頁面的內容是優先從TDK入手，即title\description\keyword；之后就是H標簽、ALT標簽；后是TF-IDF，即詞頻-文件頻率。從這三個關聯度定義頁面的“標簽”，即抓取時頁面定義的關鍵詞。
      如果要了解更多的信息 搜索 深圳市獨占網絡科技有限公司 或者 http://m.ykfic.cn  在線咨詢了解