突发：马斯克Grok开源！迄今最大，参数量达3140亿

无言***

媒体报道称，由马斯克支持的人工智能初创公司xAI宣布其大型语言模型Grok-1已经开源，并可供公众下载。

Grok-1是基于混合专家系统（Mixture-of-Experts, MoE）技术构建的一款大型语言模型，拥有3140亿个参数，超过了OpenAI GPT-3.5的1750亿参数，成为目前参数量最大的开源大语言模型。该模型按照Apache 2.0协议开放了其模型权重和架构。xAI表示，Grok-1完全由公司内部自行训练，预训练阶段于2023年10月完成。此次发布的是预训练结束时的基础模型检查点，这意味着发布的模型尚未针对任何特定应用进行微调。xAI的目标是与OpenAI、谷歌、微软等公司在大模型领域展开竞争。该公司的团队由来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等知名机构的成员组成。尽管xAI尚未公布Grok-1的具体测试成绩，但该模型与其他公司的大型模型之间的比较将成为业界关注的焦点。

GitHub地址：https://github.com/xai-org/grok-1

目前Grok-1的源权重数据大小大约为300GB。截至北京时间3月18日上午7时许，Grok-1项目收获了3400颗星。

sz***

很劲爆的信息