robots文件主要是要屏蔽网站的哪些页面

我要屏蔽除了百度谷歌soso以外的所有搜索引擎如何写robotstxt呢
　　robot.txt

利用robotstxt文件屏蔽DiscuzX所有动态地址收录
　　如果论坛开启了伪静态功能，并且收录较多的情况下可以屏蔽论坛的动态地址收录编辑网站根目录中的robots.txt文件添加以下内容Useragent：*Disallow：/*？*小编极力推荐：网页制作编辑器大全

robotstxt到底能不能屏蔽百度蜘蛛
　　robots.txt只是给蜘蛛提要求，蜘蛛还是会过来，还是会抓取，只是你要求他不会展示出来。就像淘宝也禁止蜘蛛抓取了，不是还有会有吗

网址是lovecombkt我想屏蔽目录k在robotstxt里该怎么写啊
　　在robots.txt中屏蔽目录在您的网站根目录下找到或创建一个名为robots.txt的文件。使用任何文本编辑器打开这个文件，然后添加以下内容：Use。当有人尝试访问love.com/b/k/t时，他们将无法访问该页面。请注意，robots.txt文件仅作为一种指导，并不能完全阻止所有访问，但它可以有效地阻止。

再次咨询下屏蔽所有开头的urlrobotstxt要怎么写
　　我正在用disallow：/？actiondisallow：/？uid试验supesite真烂，以后不用了

请问网站日志返回的用户状态404需要用robots文件屏蔽吗
　　网站日志不能访问的，自己在检测一下是不是真正的404页面，能不能打开，然后再把这些错误页面搜集起来，然后制作死链，并提交给百度。而且你这些页面基本上都是一些压缩的文件，或者你是做软件下载网站？

不怎么知道robots文件有没有大神解答下这样写对网站有没有危害
　　robots文件，只是针对搜索引擎蜘蛛的协议，如果你网站中没有一些不想让蜘蛛抓取的内容，就可以不用写robots文件，如果有的话，建议去百度一下怎么写屏蔽代码！

sitemapxml需要使用robots屏蔽百度抓取吗
　　XML主要是给搜索引擎看的，无需放置网站上，可写在ROBOTS.TXT文件下就可以了，并提交到百度站平台即可.SEO研究中心祝你生活愉快！查看原帖>；>；

如何屏蔽网站我有一个网站屏蔽不了
　　用robots文件屏蔽。把不想被收录的目录或链接利用robots文件屏蔽掉。在桌面新建一个TXT文件，把你想屏蔽的目录写进去，保存。然后把这个文件命名为robots.txt。打开FTP，上传到网站根目录即可。robots文件具体的书写请参考：http：//baike.baidu.com/link？url=Z1srA5eikmwPDUa_r_。

怎么屏蔽网站信息采集器急
　　屏蔽网站信息采集器的方法有多种，包括使用Robots.txt协议、利用WAF防火墙、使用CDN服务、限制IP地址访问、使用反爬取策略等。使用Robots.txt协议Robots.txt是一种告诉搜索引擎和其他网络爬虫哪些页面可以抓取，哪些页面不可以抓取的文件。你可以创建一个Robots.txt文件，并将。