***.txt页面的代码是什么意思

更新时间2022-09-10 05:10:54

网站 ***.txt 显示网页代码 

# www.***.com/
 User-agent: * 
sitemap: http://www.***.com/***.xml

***.txt是告知搜索引擎访问网站的时候，网站中哪内容可以被抓取，哪些禁止抓取等

其中带#的注释

User-agent表示定义哪个搜索引擎，所面的*表示所有的，而Googlebot表示只针对google

而sitemap为网站地图，里面的内容一般为

<urlset> <!--必填标签-->    <url>        <!--必填标签,这是具体某一个链接的定义入口，每一条数据都要用<url>和</url>包含在里面，这是必须的 -->        <loc>网页地址</loc>        <!--必填,URL链接地址,长度不得超过256字节-->        <lastmod>最后修改时间</lastmod>        <!--可以不提交该标签,用来指定该链接的最后更新时间-->        <changefreq>更新频率</changefreq>        <!--可以不提交该标签,用这个标签告诉此链接可能会出现的更新频率：always ，hourly ，daily ，weekly ，monthly ，yearly ，never  -->        <priority>优先权</priority>        <!--可以不提交该标签,用来指定此链接相对于其他链接的优先权比值，此值定于0.0-1.0之间-->    </url> </urlset>