您所在的位置: 首页>新闻圈>潮商新闻

腾讯新动作

2024年06月07日 10:56 来源:证券时报作者:


腾讯在大模型方面又有新动作。

 

腾讯混元发布开源大模型加速库

 

证券时报记者从腾讯方面获悉,6月6日,腾讯发布针对腾讯混元文生图开源大模型(以下简称为混元DiT模型)的加速库,让推理效率大幅提升,生图时间缩短75%。

 

据腾讯方面介绍,混元DiT模型的使用门槛也大幅降低。用户可以基于ComfyUI的图形化界面,使用腾讯混元文生图模型能力。同时,混元DiT模型已经部署至HuggingFaceDiffusers通用模型库中,用户仅用三行代码即可调用混元DiT模型,无需下载原始代码库。

 

具体来看,项目组通过知识蒸馏和TensorRT高性能推理框架,实现了DiT模型的采样步数压缩与高效推理部署。蒸馏主要指降低扩散模型迭代的步数实现加速。模型整体结构和参数量不变,用户在无需任何额外的操作和设备要求下使用蒸馏权重,即可降低50%迭代步数,实现耗时减半。TensorRT推理加速方案通过工程优化,可以进一步降低耗时,并且和模型权重解耦。同时使用两者进行推理部署,可将推理时间缩短75%。

 

腾讯官方还分享了两个降低用户使用门槛的最新消息:经过与社区的共同努力,用户可以基于ComfyUI的图形化界面使用腾讯混元文生图模型能力。同时,通过与HuggingFace团队合作,混元DiT模型已经部署到HuggingFace官方模型库Diffusers中,并编写了适配该模型库的调用和生成代码,用户可以直接通过该途径调用混元DiT模型,大大简化了用户使用的成本。

 

据悉,ComfyUI是一款文生图领域的WebUI界面设计,它将文生图领域的扩散算法模块化与图形化,提升了生成效率与资源利用率,也大幅降低了开发者的使用门槛。用户可以通过图像 化工 作流使用混元DiT文生图模型,实现与官方模型一样的效果。

 

混元DiT文生图模型的ComfyUI使用界面

 

腾讯文生图负责人芦清林表示:“腾讯混元文生图模型开源之后得到了众多开发者的支持和反馈,我们十分高兴,也同时在针对开发者的反馈与社区一起完善和优化基于混元DiT的开源生态,让更多开发者能更便利地享受到最新的研究成果。也欢迎大家跟我们一起共建下一代视觉生成开源生态,推动大模型行业加速发展。”

 

近期腾讯方面连续披露在大模型方面的新进展。

 

就在不久前的5月30日,腾讯宣布旗下混元大模型全面升级,基于混元大模型的App“腾讯元宝”正式上线。相比此前测试阶段的混元小程序版本,面向工作效率场景,腾讯元宝提供了AI搜索、AI总结、AI写作等核心能力;面向日常生活场景,其玩法也更加丰富,提供了多个特色AI应用,并新增了创建个人智能体等玩法。

 

更早前的5月22日,腾讯云公布大模型升级方案。根据这一升级方案,主力模型之一混元—lite模型,API输入输出总长度计划从4k升级到256k,价格从0.008元/千tokens调整为全面免费。混元—standardAPI输入价格从0.01元/千tokens降至0.0045元/千tokens,下降55%,API输出价格从0.01元/千tokens降至0.005元/千tokens,下降50%。据悉,新上线的混元—standard—256k,具备处理超过38万字符的超长文本能力,API输入价格下调至0.015元/千tokens,下降87.5%,API输出价格下降至0.06元/千tokens,下降50%。最高配置万亿参数模型混元—pro,API输入价格从0.1元/千tokens降至0.03元/千tokens,降幅达70%。

 

“百模大战”竞争白热化

 

今年以来,包括腾讯在内,国内各大厂商在大模型方面的动作不断,“百模大战”竞争日趋白热化。

 

比如在价格竞争方面, 科大讯飞 近期宣布对大模型价格进行调整,将讯飞星火LiteAPI永久免费开放,讯飞星火Pro/MaxAPI价格也低至0.21元/万tokens。科大讯飞同时表示,通过将讯飞星火API能力正式免费开放,公司致力于携手生态开发者加快大模型赋能刚需场景。

 

今年5月21日,阿里云发布通义千问降价公告,降价后,1块钱最多可以买200万tokens。

 

而在5月21日当天,百度方面也发布消息表示,文心大模型两大主力模型全面免费,并立即生效。

 


分享到:
潮商活动
  • 活动预告
  • 活动论坛
活动报名

点击我要报名

活动论坛
潮商新闻