模型广场¶

模型广场提供多样化的模型选择，涵盖文本生成、图像理解、语音合成等领域，集成了来自通义千问、Mistral、Meta、Cohere 等提供商的数百个模型。 用户可根据业务需求灵活部署模型，实现高效的实时推理。

内置模型¶

模型广场下初始化了8个 内置模型，可以直接部署使用。分别是大语言模型 baichuan2-13b-Chat、llama-2-13b、chatglm3-6b、qwen-vl-chat、qwen-14b-chat；向量化模型 bge-large-en-v1.5、bge-large-zh-v1.5；重排序模型 bge-reranker-large。

接入模型¶

d.run 模型中心支持接入 HuggingFace Transformers 上托管的各种生成式 Transformer 模型。

以下是目前支持的模型架构列表：

多模态语言模型列表：

目前接入模型支持 文件挂载方式 和 镜像加载方式，下面分别介绍两种接入模型的方式。

文件挂载方式¶

步骤 1：将模型文件上传到 MinIO¶

1. 克隆模型文件到主机 将模型文件复制或克隆到任意一台可访问 MinIO 的主机上。

2. 下载 mc 客户端工具
   运行以下命令下载 MinIO 客户端工具 mc：

   curl https://dl.min.io/client/mc/release/linux-amd64/mc \
     --create-dirs \
     -o $HOME/minio-binaries/mc
   
   chmod +x $HOME/minio-binaries/mc
   export PATH=$PATH:$HOME/minio-binaries/
   mc --help
   

3. 登录 MinIO 使用以下命令配置 MinIO 连接信息：

   mc alias set ALIAS HOSTNAME ACCESS_KEY SECRET_KEY
   

   • ALIAS：自定义 MinIO 名称，用于后续操作
   • HOSTNAME：MinIO 服务地址（例如：http://10.33.2.23:31372）
   • ACCESS_KEY：MinIO 用户名
   • SECRET_KEY：MinIO 密码

   示例：

   mc alias set myminio http://10.33.2.23:31372 minio minio123456
   

4. 推送文件到 MinIO

   • 创建 Bucket：

     mc mb myminio/llms
     

     如果 Bucket 已存在，可以通过 mc ls myminio 检查是否存在。

   • 上传模型文件：

     以 chatglm3-6b 为例：

     bash mc cp chatglm3-6b myminio/llms --recursive

步骤 2：在模型中心加载模型¶

1. 进入模型中心
   在 DAK 的模型中心选择“接入模型”。

2. 选择模型加载方式为“文件挂载”

3. 选择基础镜像和填写模型路径
   模型路径按照模型所在工作节点的挂载目录填写。例如，chatglm3-6b 模型挂载后的路径为：

   /root/llms/chatglm3-6b
   

   

4. 提交模型路径配置
   现在，模型已经成功加载，模型中心会从挂载目录中获取文件进行使用。

镜像加载方式¶

以下是完整的指导流程，包含拉取模型、构建 Docker 镜像、配置私有仓库，以及将镜像推送到自定义仓库的步骤。

步骤1：拉取 Hugging Face 上的模型¶

1. 获取模型的 Clone 地址

   1. 前往 Hugging Face
   2. 找到目标模型，例如 "chatglm3-6b"

   3. 复制模型的 Git URL 以用于克隆，例如：

      https://huggingface.co/THUDM/chatglm3-6b
      

   Clone 模型

   使用以下命令克隆模型（确保已安装 Git 和 Git LFS）：

   git lfs install
   git clone https://huggingface.co/THUDM/chatglm3-6b
   

   如果克隆失败，请尝试以下步骤：

   # 跳过 smudge - 我们会在后面的步骤中以更快的方式批量下载二进制文件
   git lfs install --skip-smudge
   # 在这里执行 git clone
   git clone https://huggingface.co/THUDM/chatglm3-6b
   # 进入克隆的目录（如果是其他模型，注意替换这个目录）
   cd chatglm3-6b
   # 在新的克隆中获取所有的二进制文件
   git lfs pull
   # 重新设置 smudge
   git lfs install --force
   

步骤2：构建镜像¶

1. 创建 Dockerfile

   创建一个名为Dockerfile的文件，并粘贴以下内容。确保根据实际需求设置MODEL_NAME。

   # 基于vllm/vllm-openai:v0.4.1构建
   FROM vllm/vllm-openai:v0.4.1
   
   # 安装Python包
   RUN pip install tiktoken
   
   # 复制模型到容器
   COPY . /data
   
   # 使用shell形式的CMD
   ENTRYPOINT ["python3", "-m", "vllm.entrypoints.openai.api_server", "--model", "/data", "--trust-remote-code"]
   

2. 构建 Docker 镜像

   构建 Docker 镜像时，示例中使用vllm-openai-tiktoken-chatglm3-6b-server作为镜像名称， /data/chatglm3-6b/Dockerfile 是上面的 Dockerfile 文件位置， /data/llms/chatglm3-6b 是下载的大模型文件的目录。

   docker build -t vllm-openai-tiktoken-chatglm3-6b-server:v2.0.1 -f /data/chatglm3-6b/Dockerfile /data/llms/chatglm3-6b
   

   为了减小镜像大小，确保 .dockerignore 文件在 /data/llms/chatglm3-6b 目录中，并且其中包含需要忽略的文件或目录，如：

   .git
   

步骤3：推送镜像到自定义 Docker 仓库¶

1. 登录到 Docker 仓库

   如果要推送到 Docker Hub 或其他私有仓库，请确保已登录到相应的 Docker 仓库。

   docker login
   

   对于其他仓库，例如 Google Container Registry 或 Amazon ECR，需要根据其文档指引进行登录和身份验证。

2. 配置镜像标签

   在推送镜像之前，将镜像标签配置为目标仓库地址。以下示例使用自定义的私有仓库地址：

   # 假设你的仓库地址是 myregistry.example.com
   docker tag vllm-openai-tiktoken-chatglm3-6b-server myregistry.example.com/vllm-openai-tiktoken-chatglm3-6b-server
   

3. 推送镜像到仓库

   将镜像推送到目标仓库：

   docker push myregistry.example.com/vllm-openai-tiktoken-chatglm3-6b-server
   

4. 验证推送成功

   确认推送成功后，可以在 Docker 仓库的仪表盘上查看已推送的镜像。

步骤4：接入模型时选择镜像加载方式¶

模型镜像构建并推到指定仓库后，即可在页面填写镜像直接使用。

部署模型¶

1. 在模型卡片右下角，点击 部署 按钮。

   

2. 填写模型服务名称、部署配置、算力类型、资源配置后点击 确定 。

   

   支持国产 GPU

   其中算力类型支持 Nvidia GPU 和 Ascend 等国产 GPU。

3. 创建成功后，可在模型服务的本地服务列表查看。

   

   部署成功后，模型服务显示 健康 。

下一步：模型服务