备案归集的工具

源码

核心功能

1. 批量域名备案信息归集

  • 从 CSV 文件（OneForAll 输出格式）读取子域名信息
  • 查询每个子域名的 ICP 备案信息
  • 归集同主域名下的所有子域名、IP、端口等信息

2. 企业名称识别

  • 备案信息优先：优先使用 ICP 备案中的企业名称
  • 主域名备案查询：子域名无备案时，查询主域名备案

3. 系统类型简单识别

  • 邮箱或通信系统：检测邮件、SMTP、IMAP 等关键词
  • 门户网站：检测官网、产品、新闻等关键词
  • 应用系统：检测 OA、ERP、CRM、登录等关键词
  • 其他系统：无法明确分类的系统

4. 系统名称简单提取

  • 从网页内容中提取真实的系统名称
  • 支持从 <title>、<h1>、<h2> 等标签提取
  • 识别系统名称关键词（如”系统”、”平台”、”管理”等）

5. 企业白名单过滤

  • 根据企业名称列表进行匹配
  • 支持宽松匹配（关键词匹配）
  • 输出匹配和未匹配的结果分别保存

6. 域名存活检测

  • 过滤无法访问的域名（状态码非200）
  • 过滤错误页面（404、403、500等）
  • 过滤阻断页面和DNS解析错误

7. 钉钉通知功能

  • 任务开始、进度、完成通知
  • 支持频率限制和重试机制
  • 可选择性禁用通知

输出格式

匹配结果文件（自定义文件名）

1
企业名称|系统名称|系统类型|子域名|IP|关联域名|协议|访问地址|资产JSON

未匹配结果文件（not_matched_domains.txt）

1
企业名称|系统名称|系统类型|子域名|IP|关联域名|协议|访问地址|资产JSON

使用方式

1
python3 lookup.py -r <CSV文件> -c <企业名称列表> -o <输出文件> [--no-dingtalk] [--notification-interval <间隔>]