{}
AJson
网络工具 (17)
IP地址查询User-Agent解析HTTP状态码URL解析器DNS查询WebSocket测试HTTP Header解析IP地址转换MAC地址格式化子网计算器IP地址查询Whois查询HTTPS安全检测SEO优化分析端口扫描检测Robots.txt生成器DNS查询
首页/网络工具/Robots.txt生成器

Robots.txt生成器

快速生成robots.txt文件，控制搜索引擎爬虫

基本配置

快速模板

生成的 robots.txt

使用说明

  • User-agent: 指定爬虫，* 表示所有爬虫
  • Disallow: 禁止爬取的路径
  • Allow: 允许爬取的路径（优先级高于Disallow）
  • Sitemap: 网站地图URL，帮助搜索引擎索引
  • Crawl-delay: 爬虫访问间隔时间（秒）

相关工具

IP地址查询

查看公网IP及IP归属地查询

User-Agent解析

解析浏览器User-Agent字符串

HTTP状态码

HTTP状态码速查表

URL解析器

解析URL各组成部分，支持编辑和重建URL

DNS查询

查询域名的DNS记录，支持A、AAAA、CNAME、MX、TXT等记录类型

WebSocket测试

在线WebSocket连接测试和消息收发调试