网站robots.txt是什么？怎么写？

发布：2026-11-07 13:19 阅读：61次板块：科技

robots.txt是放在网站根目录的一个文件，告诉搜索引擎哪些页面可以爬，哪些不要爬。

一般要屏蔽：
- 后台地址
- 搜索结果页
- 购物车、会员中心等

不要屏蔽：
- 文章页
- 栏目页
- 首页

写错了robots会导致百度不收录你的网站，要小心。
成都招摇科技做网站都会配置好robots。