2025-05-06 23:46:12 | 来源:admin
小字号
IT之家1月17日消息,研究公司Snowflak《魔域私服》
IT之家1月17日消息,研究公司Snowflake公布了一款名为“SwiftKV”的AI模型调校技术,并在HuggingFace开源三款利用“SwiftKV”技术进行调校的Llama3.1AI模型(点此访问)。
IT之家获悉,SwiftKV技术的核心在于优化模型提示词处理过程。研究人员指出,通常情况下大模型最为消耗计算资源的环节在于处理用户为模型输入的提示词,而许多企业为模型自定义了极长的提示词,据称平均情况“大约是输出生成内容的10倍”。
据Snowflake介绍,这一“SwiftKV”模型调校技术专门为相应预制的提示词处理进行优化,号称突破了传统的键值(Key-Value,KV)缓存压缩技术,还在模型推理过程中引入模型重组与知识保存自我蒸馏方法,从而有效提升模型吞吐量、降低了延迟和运算成本,号称可以帮助AI模型显著缩短推理时间,可以降低模型50%推论时间。
实验结果表明,在利用SwiftKV技术优化Llama3.1的80亿和700亿参数模型后,相应模型的整体吞吐量可提升两倍,同时相应模型也在代码自动补全、文本摘要等方面表现出色。
IT之家1月17日消息,研究公司Snowflak( 2025-05-06 2025-05-06 23:40:12版)
(责编:admin)
热门排行
- 1江苏新沂开展第十一个122“全国交通安全日”主题宣传活动
- 2基层治理创新带来的美丽嬗变
- 3工信部:将大力推动实施工业领域碳达峰行动 构建绿色低碳技术体系和绿色制造支撑体系
- 4《求是》杂志发表习近平总书记重要文章《全面从严治党探索出依靠党的自我革命跳出历史周期率的成功路径》
- 5第二届中国“一带一路”涉外法治高端论坛与第六届中国特色自由贸易港建设法治论坛暨浙外“一带一路”学院成立二周年活动举行
- 6今日辟谣(2023年2月6日)
- 7河北临漳法院“四个切入”做优法治化营商软环境
- 8第六届全国119消防先进集体和先进个人表彰大会举行
- 9涉案金额1.9亿元!四川德阳警方破获一起制售假药案
- 10八一时评丨守望团圆,是咱军人过年的方式