接觸網站優(yōu)化的站長都知道優(yōu)化分為站內優(yōu)化和站外優(yōu)化，站內優(yōu)化除了網站的內部結構以及各種標簽的使用還有以下三大點非常重要：
第一，網站地圖，網站地圖指的是一個頁面，上面放置了網站上所有頁面的鏈接，一個網站上所有鏈接的容器，根據網站的結構、框架、內容，生成的導航網頁文件。要是在網站上找不到自己所需要的信息時，可能會將網站地圖作為一種補救措施，蜘蛛非常喜歡網站地圖，喜歡在網站地圖上爬來爬去尋找自己喜歡的新鮮的東西。
第二，404頁面
404是W3C規(guī)定的http狀態(tài)碼中的一種，是訪問網站比較常出現的錯誤。告訴瀏覽者其所請求的頁面不存在或鏈接錯誤，同時引導用戶使用網站其他頁面而不是關閉窗口離開，這種專業(yè)的官方解釋，通俗點將404頁面就是一個網站內的報錯頁面，當我們輸入你的網站網址出現錯誤是就會直接跳轉到404頁面，404頁面會引導用戶返回到網站的首頁或者其他用戶比較關注的頁面，這就需要我們在制作404頁面時給用戶或者蜘蛛做一個很好的引導作用，引導用戶回到你的網站首頁或者其他頁面，要是你的404頁面什么都沒有的話，蜘蛛或者用戶訪問到你的這個頁面找不到任何的信息就會直接關閉，這樣的用戶體驗是很不好的。
第三，就是我們常見的robots.txt
在搜索引擎訪問網站的時候，robots.txt是第一個要被查看的文件，蜘蛛程序會根據文件上允許的頁面進行爬取，在進行網站優(yōu)化的時候，通過蜘蛛文件把一些不想讓蜘蛛抓取的內容，比如js等文件攔截，假如說沒有robots.txt文件，蜘蛛會抓取你網站上所有的文件，這樣的話一些不想讓蜘蛛抓取的文件也會被抓取到，久而久之，會讓蜘蛛對你的網站產生很嚴重的排斥心理，會大大降低網站的搜索引擎抓取效率。