mineru-tianshu
starsforks
How to install mineru-tianshu?
magicyuan876/mineru-tianshu
$git clone https://github.com/magicyuan876/mineru-tianshu企业级 AI 数据预处理平台
README.md
| 1 | <div align="center"> |
| 2 | |
| 3 | # Tianshu 天枢 |
| 4 | |
| 5 | **企业级 AI 数据预处理平台** |
| 6 | |
| 7 | 支持文档、图片、音频等多模态数据处理 | GPU 加速 | MCP 协议 |
| 8 | |
| 9 | 结合 Vue 3 前端 + FastAPI 后端 + LitServe GPU负载均衡 |
| 10 | |
| 11 | <p> |
| 12 | <a href="https://github.com/magicyuan876/mineru-tianshu/stargazers"> |
| 13 | <img src="https://img.shields.io/github/stars/magicyuan876/mineru-tianshu?style=for-the-badge&logo=github&color=yellow" alt="Stars"/> |
| 14 | </a> |
| 15 | <a href="https://github.com/magicyuan876/mineru-tianshu/network/members"> |
| 16 | <img src="https://img.shields.io/github/forks/magicyuan876/mineru-tianshu?style=for-the-badge&logo=github&color=blue" alt="Forks"/> |
| 17 | </a> |
| 18 | <a href="https://github.com/magicyuan876/mineru-tianshu/blob/main/LICENSE"> |
| 19 | <img src="https://img.shields.io/badge/license-Apache%202.0-green?style=for-the-badge" alt="License"/> |
| 20 | </a> |
| 21 | </p> |
| 22 | |
| 23 | <p> |
| 24 | <img src="https://img.shields.io/badge/Python-3.8+-blue?logo=python&logoColor=white" alt="Python"/> |
| 25 | <img src="https://img.shields.io/badge/Vue-3.x-green?logo=vue.js&logoColor=white" alt="Vue"/> |
| 26 | <img src="https://img.shields.io/badge/FastAPI-0.115+-teal?logo=fastapi&logoColor=white" alt="FastAPI"/> |
| 27 | <img src="https://img.shields.io/badge/CUDA-Supported-76B900?logo=nvidia&logoColor=white" alt="CUDA"/> |
| 28 | <img src="https://img.shields.io/badge/MCP-Supported-orange" alt="MCP"/> |
| 29 | </p> |
| 30 | |
| 31 | [](https://mseep.ai/app/819ff68b-5154-4717-9361-7db787d5a2f8) |
| 32 | |
| 33 | [English](./README_EN.md) | 简体中文 |
| 34 | |
| 35 | <p> |
| 36 | <a href="https://github.com/magicyuan876/mineru-tianshu"> |
| 37 | <img src="https://img.shields.io/badge/⭐_Star-项目-yellow?style=for-the-badge&logo=github" alt="Star"/> |
| 38 | </a> |
| 39 | </p> |
| 40 | |
| 41 | **如果这个项目对你有帮助，请点击右上角 ⭐ Star 支持一下，这是对开发者最大的鼓励！** |
| 42 | |
| 43 | </div> |
| 44 | |
| 45 | --- |
| 46 | |
| 47 | ## 📝 最新更新 |
| 48 | |
| 49 | ### 2026-04-12 🔧 MinerU 3.0.9 升级 & Office 格式增强 |
| 50 | |
| 51 | - ✅ **MinerU 3.0.9 升级** |
| 52 | - 核心依赖同步：`transformers==4.57.6`、`albumentations>=1.4.11` |
| 53 | - 配置格式迁移：`magic-pdf.json`（扁平）→ `mineru.json`（嵌套 `models-dir` 结构） |
| 54 | - 模型路径适配 3.0 新结构（`unimernet_hf_small_2503`、`pp_formulanet_plus_m`） |
| 55 | - ✅ **DOCX 原生解析**：`.docx` 文件路由至 MinerU 3.0 原生解析器（`office_docx_analyze`），解析精度优于 MarkItDown |
| 56 | - ✅ **旧版 Office 格式支持**：`.doc`、`.xls`、`.ppt` 经 LibreOffice 自动转换为新格式后，再交由 MinerU 或 MarkItDown 处理，不再报错 |
| 57 | - ✅ **前端引擎信息面板**：仪表盘新增引擎状态卡片，实时展示各引擎版本号、GPU/CUDA 环境及关键包版本 |
| 58 | |
| 59 | ### 2025-12-10 ⚡ 大文件并行处理 |
| 60 | |
| 61 | - ✅ **PDF 自动拆分功能**：超过阈值（默认 500 页）的 PDF 自动拆分为多个子任务并行处理 |
| 62 | - 可配置的分块大小（默认 500 页/块），显著提升大文件处理速度 |
| 63 | - 实现父子任务系统：自动管理子任务状态并在完成后合并结果 |
| 64 | - 智能结果合并：保留原始页码信息，按序合并 Markdown 和 JSON 输出 |
| 65 | - 处理时间可缩短 40-60%（取决于硬件配置） |
| 66 | - **异步拆分**：拆分操作在 Worker 中进行，API 接口秒级响应 |
| 67 | - ✅ **PDF 拆分配置**（`.env` 新增） |
| 68 | - `PDF_SPLIT_ENABLED`: 是否启用自动拆分（默认 `true`） |
| 69 | - `PDF_SPLIT_THRESHOLD_PAGES`: 拆分阈值页数（默认 `500`） |
| 70 | - `PDF_SPLIT_CHUNK_SIZE`: 每个子任务处理页数（默认 `500`） |
| 71 | - ✅ **Worker 内存管理** |
| 72 | - `WORKER_MEMORY_LIMIT`: 容器硬内存限制（默认 `16G`） |
| 73 | - `WORKER_MEMORY_RESERVATION`: 内存软限制/预留（默认 `8G`） |
| 74 | |
| 75 | ### 2025-12-05 🗄️ RustFS 对象存储集成 |
| 76 | |
| 77 | - ✅ **RustFS 对象存储**：所有解析结果的图片自动上传到对象存储 |
| 78 | - S3 兼容 API，基于 minio-py 实现 |
| 79 | - 批量上传图片，自动生成公开访问 URL |
| 80 | - 短且唯一的文件名生成（时间戳 Base62 + NanoID） |
| 81 | - 按日期自动分组（YYYYMMDD/文件名.ext） |
| 82 | - Markdown/JSON 中的图片路径自动替换为对象存储 URL |
| 83 | - Docker Compose 一键部署 RustFS 服务 |
| 84 | - 需配置 `RUSTFS_PUBLIC_URL` 环境变量（外部可访问地址） |
| 85 | - ✅ **输出标准化优化**：改进图片路径处理，统一使用对象存储 URL |
| 86 | - ✅ **配置简化**：精简 `.env.example` 配置文件，移除冗余选项 |
| 87 | |
| 88 | ### 2025-11-12 📦 代码优化与文档整理 |
| 89 | |
| 90 | - ✅ **输出标准化**：统一 Markdown/JSON 输出格式，优化图片路径处理 |
| 91 | - ✅ **文档精简**：精简 README 文档，移除冗余说明文件，保持项目整洁 |
| 92 | - ✅ **代码质量**：优化错误处理，改进日志输出，提升系统稳定性 |
| 93 | |
| 94 | ### 2025-10-30 🐳 Docker 部署 + 企业级认证系统 |
| 95 | |
| 96 | - ✅ **Docker 容器化部署支持** |
| 97 | - **一键部署**：`make setup` 或运行部署脚本即可完成全栈部署 |
| 98 | - **多阶段构建**：优化镜像体积，分离依赖层和应用层 |
| 99 | - **GPU 支持**：NVIDIA CUDA 12.6 + Container Toolkit 集成 |
| 100 | - **服务编排**：前端、后端、Worker、MCP 完整编排（docker-compose） |
| 101 | - **开发友好**：支持热重载、远程调试（debugpy）、实时日志 |
| 102 | - **生产就绪**：健康检查、数据持久化、零停机部署、资源限制 |
| 103 | - **跨平台脚本**： |
| 104 | - Linux/Mac: `scripts/docker-setup.sh` 或 `Makefile` |
| 105 | - Windows: `scripts/docker-setup.bat` |
| 106 | - **完整文档**：`scripts/DOCKER_QUICK_START.txt`、`scripts/docker-commands.sh` |
| 107 | - 详见：Docker 配置文件（`docker-compose.yml`、`backend/Dockerfile`、`frontend/Dockerfile`） |
| 108 | |
| 109 | - ✅ **企业级用户认证与授权系统** |
| 110 | - **JWT 认证**：安全的 Token 认证机制，支持 Access Token 和 Refresh Token |
| 111 | - **用户数据隔离**：每个用户只能访问和管理自己的任务数据 |
| 112 | - **角色权限**：管理员 |
People who liked this also viewed
6 picksType
- redis-vl-pythonRedis Vector Library (RedisVL) -- the AI-native Python client for Redis.MCP ServersJul 2026
- pipeworx gatewayLive data for AI agents. 250+ data sources, 900+ tools. Ask questions in plain English with ask_pipeworx — trade flows, SEC filings, drug safety, housing data, and more. No API keys needed.MCP Serversrecently
- dbt-mcpA MCP (Model Context Protocol) server for interacting with dbt.MCP ServersJul 2026
- mcp-server-chart🤖 A visualization mcp & skills contains 25+ visual charts using @antvis. Using for chart generation and data analysis.MCP ServersMay 2026
- mempalaceThe best-benchmarked open-source AI memory system. And it's free.MCP ServersJul 2026
- jupyter-mcp-server🪐 🔧 Model Context Protocol (MCP) Server for Jupyter.MCP ServersJul 2026
