SmallThinker - 阿里开源轻量大语言模型 8G显存可玩 本地一键整合包下载

无言***

SmallThinker - 阿里开源轻量大语言模型 8G显存可玩 本地一键整合包下载

SmallThinker-3B 是一个基于Qwen2.5-3b-Instruct模型微调的针对边缘部署进行优化的新推理模型，为资源受限设备上的人工智能任务提供了显著的加速。它作为更大的QwQ-32B-Preview的草稿模型，在 llama.cpp 中可以获得 70% 的速度提升（从每秒 40 个 token 提升到每秒 70 个 token）。

SmallThinker-3B 模型的优点是资源占用低，可满足大多数用户本地推理且速度快。缺点是基于英文数据集训练，英语以外的语种支持不尽人意，但经过多次测试，中文推理能力也不弱，日常的问答、写论文、创作、写代码都是没问题的。



使用教程：
输入你的问题，发送给机器人即可。
在回答高难度问题时，该模型往往会重复自己。请增加 “惩罚系数”这个参数，以缓解此问题。



下载地址：（建议N卡，显存8G起）
夸克网盘：https://pan.quark.cn/s/be03e395b40a
百度网盘：

游客，上上宾会员可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 30碎银 下载该资源立即购买

ns***

这个不错。期待一键包，谢谢