1、首頁(yè)要收集這些鏈接
我們需要一些輔助工具來(lái)幫我們完成這項(xiàng)工作，不然網(wǎng)站那么多頁(yè)面，一點(diǎn)點(diǎn)的點(diǎn)開(kāi)查詢，是一件很痛苦的事情。我們可以通過(guò)網(wǎng)站死鏈檢測(cè)工具（網(wǎng)頁(yè)版在線檢測(cè)工具或軟件版）檢測(cè)后記錄下來(lái)。
2、然后提交鏈接地址
我們將記錄下來(lái)的鏈接，保存在一個(gè)txt文件中。然后再使用百度搜索資源平臺(tái)，提交404鏈接頁(yè)面，提交這個(gè)文件，這樣操作就是為了讓搜索引擎知道這些URL地址不要再次抓取了。
3、設(shè)置404頁(yè)面
網(wǎng)站是有必要設(shè)置404頁(yè)面的，就比如遇到刪除頁(yè)面、以及改版之類的情況，404頁(yè)面就會(huì)產(chǎn)生作用，將錯(cuò)誤頁(yè)面導(dǎo)向至網(wǎng)站上其他可以打開(kāi)的頁(yè)面。不設(shè)置的話，蜘蛛會(huì)抓到丟失的頁(yè)面不返回了。
4、robots協(xié)議文件
優(yōu)化師都知道robots文件的重要性，所以我們可以將一些網(wǎng)站死鏈URL地址寫在robots文件中，這樣就是設(shè)置了禁止抓取，即屏蔽蜘蛛訪問(wèn)這些URL地址。
