当前位置:百度爬虫

django开发的网站添加robots.txt方法一

django项目,因为是网址路由模式,所以你的项目即使部署好了后,直接往根目录添加静态文件robots.txt并不能直接访问,会提示404错误。即使你放的是一个
返回首页 明天再来
热门标签