-
Notifications
You must be signed in to change notification settings - Fork 775
Open
Milestone
Description
System Info / 系統信息
xinference 1.14
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?
- docker / docker
- pip install / 通过 pip install 安装
- installation from source / 从源码安装
Version info / 版本信息
xinference 1.14
The command used to start Xinference / 用以启动 xinference 的命令
xinference-local
Reproduction / 复现过程
如果用xinference的Gradio使用一切正常
但是如果按照文档中的描述 https://inference.readthedocs.io/zh-cn/latest/models/model_abilities/image.html
不管是用curl还是xinference.client,都返回
{'text': None, 'model': 'deepseek-ocr', 'success': True, 'model_size': 'gundam', 'base_size': 1024, 'image_size': 640, 'crop_mode': True}
跑了一会后,没识别到文本,看了下显卡有占用
而且现在文档似乎也没说如何调整model_size之类的
Expected behavior / 期待表现
正常进行ocr
文档更新,说明如何调整model_size
Metadata
Metadata
Assignees
Labels
No labels