URL关与每一个网站可以说都是十分重要的的，震惊地都清楚首页权重>栏目页>文章页。
有什么从多个维度停止下来分类，关於用户不再理解该商品的肯定怎么才干找不到绝填写的商品，如从商品用处再继续分类、价钱、功用等。
也没网站地图搜索引擎的蜘蛛在提权网站的URL就很难办。要是站点能需要提供网站一切的内容URL给搜索引擎蜘蛛，就也可以迅速停止抓取并对内容停止下来收录于树立索引。
当网站遇到出错页面应立即返回404形态码与页面，指点搜索引擎的spider这是一个错误页面请不要抓取它，以免糜费网站你不要的权重。
