1.什么是robots.txt文件? 　　搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt...

　　有的时候，站长并不希望某些页面被抓取和收录，如付费内容、还在测试阶段的页面复制内容页面等。网站上不出现链接，或者使用davaScript.1~lash链接，使用nofollow等方法都不能保证页面...