如何快速部署和体验内置开源LLM大模型

LLM大模型调试指南。

原标题：如何快速部署和体验内置开源LLM大模型
文章来源：智东西
内容字数：2027字

腾讯云TI-ONE平台一键部署开源大模型指南

本文档简要介绍如何使用腾讯云TI-ONE平台快速部署和体验开源大模型，帮助用户高效选型适合自身业务场景的模型。

1. 浏览TI内置大模型

   登录腾讯云TI平台，在“大模型精调”首页，您可以查看平台内置的开源大模型清单。点击模型卡片即可查看每个模型的详细介绍，了解其特性和适用场景。

2. 一键部署开源大模型

   在模型详情页面，点击“新建在线服务”按钮即可开始部署。以“llama_3_8b_chat”模型为例，系统会引导您配置服务参数：

   • 服务名称：自定义服务名称。
   • 计费模式：选择“按量计费”或“包年包月”。
   • 服务实例模型来源：选择“镜像”类型。
   • 模型和运行环境：选择您所需模型，例如“内置大模型/Llama3系列模型/llama_3_8b_chat”。
   • 算力规格：选择合适的配置，例如12C44GB A10*1。 支持V100、A100等机型。

   同意相关协议后，点击“启动服务”即可。

3. 在线体验模型效果

   服务部署完成后，状态变为“运行中”后，即可体验模型效果。提供两种调用方式：

   • API调用：点击“操作 > 调用API”，进入API调用文档页面，使用API Explorer配置调用代码。 需使用在线服务页面展示的“ID”参数。
   • 在线体验：点击“操作 > 在线体验”，进入快速体验页面，通过问答形式直接测试模型。

4. 管理模型服务

   在“模型服务 > 在线服务列表”页面，您可以管理已部署的服务。 点击服务名称，可以：

   • 停止/重启服务：控制服务运行状态。
   • 查看监控/日志：监控服务运行情况和查看日志信息。
   • 查看详细信息：查看基本信息、实例列表、监控、、日志和更新记录等。

5. 关于腾讯云TI-ONE平台

   腾讯云TI-ONE训练平台是一个一站式机器学习平台，提供从数据接入、模型训练、模型管理到模型服务的全流程支持，支持多种训练方式和算法框架，满足不同AI应用场景的需求。

联系作者

文章来源：智东西
作者微信：
作者简介：智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。