如何防止模型被？基于TVM的端上模型部署加密方案

AIGC动态欢迎阅读

原标题：如何防止模型被？基于TVM的端上模型部署加密方案
关键字：模型,文件,高效,编译器,张量
文章来源：大数据文摘
内容字数：3698字

内容摘要：

大数据文摘受权转载自云鼎实验室
2023年在AI的发展史上一定是浓墨重彩的一笔，在这一年里出现了百模大战、全民“炼丹”的场面，围绕着各种模型的训练技术和算力需求有很多讨论。随着模型的成熟以及算力市场的发展，7B、13B这类小型号的模型也出现了端上部署的需求，其中以移动设备厂商最为突出。2024年，在端上部署和应用模型也可能会成为各家移动厂商的一个营销热点。
在端上部署推理模型自然就会带来一个安全问题，如何保证模型文件的安全？LLM的架构目前都是Transformer的变体，如果拿到模型文件，借助开源的代码很容易完成适配，然后就可以异地部署起来。LLM现在从零开始预训练、指令微调、强化学习到最后可用，成本并不低，如果很容易被别人到模型文件并被推理使用，会造成不小的损失。
为了解决上面这个安全问题，我们借助TVM编译器帮助我们实现高效模型推理部署，并在TVM中引入Tensor加解密层。这样模型文件在本地是处于加密状态，在推理运行的时候才是解密状态，以此保证模型文件不被轻易。下面介绍技术细节。TVM简介
TVM全称Tensor Virtual Machine，中文名称张量虚拟机，它主

原文链接：如何防止模型被？基于TVM的端上模型部署加密方案

联系作者

文章来源：大数据文摘
作者微信：BigDataDigest
作者简介：普及数据思维，传播数据文化