SmallThinker - 阿里开源轻量大语言模型 8G显存可玩 本地一键整合包下载
SmallThinker-3B 是一个基于Qwen2.5-3b-Instruct模型微调的针对边缘部署进行优化的新推理模型，为资源受限设备上的人工智能任务提供了显著的加速。它作为更大的QwQ-32B-Preview的草稿模型，在 llama.cpp 中可以获得 70% 的速度提升（从每秒 40 个 token 提升到每秒 70 个 token）。
SmallThinker-3B 模型的优点是资源占用低，可满足大多数用户本地推理且速度快。缺点是基于英文数据集训练，英语以外的语种支持不尽人意，但经过多次测试，中文推理能力也不弱，日常的问答、写论文、创作、写代码都是没问题的。
使用教程：
输入你的问题，发送给机器人即可。
在回答高难度问题时，该模型往往会重复自己。请增加 “惩罚系数”这个参数，以缓解此问题。
下载地址：（建议N卡，显存8G起）
夸克网盘：https://pan.quark.cn/s/be03e395b40a
百度网盘：**** 本内容需购买 ****
这个不错。期待一键包，谢谢
页:
[1]