开发者的文档收割机来了！这个开源工具让你一小时干完一周的活！

开发者们都懂，看文档是刚需但也是“苦差事”，毕竟对于程序员查阅技术文档是必须要掌握的技能，但往往也是一项耗时且繁琐的任务。

针对这一痛点，DevDocs 应运而生。这款专为程序员设计的开源文档爬取和处理工具，它能自动爬取、提取并组织技术文档，将理解文档所需的时间从数周缩短至几小时，大幅提升开发效率。

DevDocs 通过智能爬取和结构化处理，为开发者提供了一个全新的解决方案。它不仅能快速获取文档，还支持与 AI 工具集成，让文档查询变得像聊天一样简单。

支持从任意技术文档网站提取内容，并将其转化为易于理解的格式。同时它内置 MCP 服务器，可与 Claude、Cursor、Cline 等 AI 应用无缝对接，提供对话式文档查询体验。

通过 Docker 快速部署，让开发者无需复杂配置即可上手。

主要功能

• • 智能爬取：支持 1-5 层深度的网站结构爬取
• • 自动链接发现：自动发现链接和子 URL，全面映射网站内容
• • 并行处理：多线程爬取、智能缓存、速度飞快
• • 内容清洗优化：去除冗余信息（如广告、导航栏），保证内容干净有用
• • 多格式输出：支持 Markdown（MD）和 JSON 格式输出
• • MCP服务器集成：内置 MCP 服务器，支持与 Claude、Cursor、Cline 等 AI 工具对接
• • Docker快速部署：支持Docker一键部署，开箱即用

快速安装

Docker 一键部署快速使用，十分钟搞定，具体步骤如下：

克隆仓库

git clone https://github.com/cyberagiinc/DevDocs.git
cd DevDocs

Docker快速启动所有服务：

# 适用于 Linux/MacOS 系统
./docker-start.sh
# 适用于 Windows 系统
docker-start.bat

运行成功后，即可访问各种服务

前段 UI: http://localhost:3001
后端 API: http://localhost:24125
Crawl4AI 服务: http://localhost:11235

DevDocs 还有很多实用脚本提供，包括 Crawl4AI 脚本、MCP 服务器脚本及其他小实用功能脚本。可访问项目Readme文档了解。

场景应用示例

• • 框架/库学习：自动获取整站 API + 示例代码 + 结构关系
• • AI 训练数据准备：输出结构化 JSON / MD，可用于 RAG、fine-tune
• • 自定义 AI 助手：Claude/Cursor 接入后，实现“问文档 AI 即答”
• • 文档归档：把外部在线文档变成本地离线手册

写在最后

DevDocs 是一个把“技术文档”变成“你和AI都能看懂的知识”的桥梁！

DevDocs = 高质量文档爬虫 + 智能内容清洗器 + AI 知识整合工具

它绝对是程序员和AI开发者的“效率神器”，不仅解决了技术文档难查、难整理的问题，更像是一个可以被你自定义训练的“AI文档助理”。

GitHub 项目地址：https://github.com/cyberagiinc/DevDocs