王小川大模特首次公开亮相。

2023年6月15日，被誉为“中国ChatGPT梦之队”的百川智能公司推出了70亿参数的中英文预训练大模型——baichuan-7B。

baichuan-7B不仅在C-Eval、AGIEval和高考中文权威评测榜单上以显着优势超越ChatGLM-6B等其他大型模型，而且在MMLU英文权威评测榜单上领先LLaMA-7B。

（资料图）

目前，百川7B大模型已在Hugging Face、Github和Model Scope平台发布。

01 多个最具影响力中文评估基准 7B 最佳

为了验证模型的各项能力，百川-7B在中国最具影响力的三个评测基准：C-Eval、AGIEval和高考上进行了综合评测，均取得了优异的成绩。

在中国C-EVAL的评测中，百川7B的总体得分达到了42.8分，超过了ChatGLM-6B的38.9分，甚至优于一些参数规模更大的模型。

C-EVAL评估截图，时间2023-06-15

C-Eval评估基准由上海交通大学、清华大学和爱丁堡大学联合创建。它是一套针对中国语言模型的综合考试评估集，涵盖了不同行业领域的52个学科。

在AGIEval的评测中，百川7B的整体得分达到34.4分，远远超过LLaMa-7B、Falcon-7B、Bloom-7B和ChatGLM-6B等其他开源模型。

AGIEval评估基准由微软研究院发起，旨在综合评估基础模型在人类认知和问题解决相关任务中的能力。它包括中国的高考、司法考试，以及美国的SAT、LSAT、GRE和GMAT等。 20 公开、严格的官方入学和职业资格考试。

在高考评测中，百川7B综合得分达到36.2分，显着领先于同参数尺度的其他各种预训练模型。

高考评估基准是复旦大学研究团队创建的评估框架。它以中文高考题作为数据集，测试大型模型在中文语言理解和逻辑推理能力方面的表现。

02 MMLU 英文评估基准表现大幅领先 LLaMA-7B

baichuan-7B不仅在中文中表现出色，在英文中也同样表现出色。在MMLU评测中，百川-7B整体得分高达42.5分，大幅领先于英文开源预训练模型LLaMA-7B的34.2分和中文开源模型ChatGLM-6B的36.9分。

MMLU由加州大学伯克利分校等知名大学联合创建，整合了科学、工程、数学、人文、社会科学等领域的57个学科。主要目标是对模特的英语跨学科专业能力进行深入测试。它的内容范围广泛，从初级水平一直到高级专业水平。

03 baichuan-7B是如何打造

训练语料对大型模型的训练结果至关重要。在预训练语料库构建方面，百川智能以优质中文语料库为基础，融合优质英文数据。数据质量方面，通过质量模型对数据进行打分，在章节级别、句子级别精准筛选原始数据集；在内容多样性方面，采用自主研发的超大规模局部敏感哈希聚类系统和语义聚类系统，对数据进行多层次、多粒度的聚类，最终构建了包含1.2万亿的预训练数据兼顾质量和多样性的代币。与相同参数规模的其他开源中文预训练模型相比，数据量增加了50%以上。

在万亿级优质中英文数据的基础上，为了更好地提升训练效率，百川-7B深度融合模型算子加速计算过程，并根据任务负载和任务情况自适应优化模型并行策略和复用。集群配置。计算策略。通过训练过程中高效调度通信，百川7B成功实现了计算和通信的高效重叠，从而实现了超线性训练加速，千卡集群上的训练吞吐量达到180+Tflops的业界领先水平。

同时，现有开源模型的窗口长度在2K以内。对于一些长文本建模任务，例如需要引入外部知识来增强搜索的场景，较长的处理长度有助于模型在训练和推理阶段捕获更多信息。对于上下文信息来说，2K的处理长度有比较大的限制。基于高效的注意力算子优化，百川7B实现了万级超长动态窗口的扩展能力。该开源预训练模型开启了4K上下文窗口，使得模型应用场景更加广泛。

此外，百川七号B还对模型训练流程进行了深度优化，采用了更加科学稳定的训练流程和超参数选择，极大提升了百川七号B模型的收敛速度。与相同参数大小的模型相比，baichuan-7B 在困惑度（PPL）和训练损失（training loss）等关键性能指标上表现更好。

04 免费可商用，清华北大率先使用助力研究

秉承开源精神，baichuan-7B代码采用Apache-2.0协议，模型权重采用免费商业协议。只需简单注册即可免费用于商业用途。

baichuan-7B的开源内容非常丰富，包括推理代码、INT4量化实现、微调代码、预训练模型的权重等。其中，微调代码方便用户调整和优化模型；推理代码和INT4量化实现帮助开发者低成本部署和应用模型；预训练模型权重开源后，用户可以直接使用预训练模型进行各种实验研究。

据了解，北京大学、清华大学两所顶尖学府已率先利用百川-7B模型推进相关研究工作，并计划未来与百川智能深度合作，共同推动应用与发展百川七号B型。

清华大学网络正义研究院院长、计算机系教授刘益群认为，百川7B模型在中文中表现非常好。其免费商业开源的方式展现了开放的态度，不仅为社区做出了贡献，也促进了技术的发展。团队计划基于百川七号B模型开展司法人工智能领域的相关研究。

北京大学人工智能研究院助理教授杨耀东认为，百川-7B模型的开源将对汉语基础语言模型的生态建设和学术研究起到重要推动作用。同时，他还表示将继续关注相关领域的探索，并在中文模型的安全性和对齐性方面进行进一步深入的研究。

百川智能CEO王小川表示：“该开源模型的发布是百川智能成立两个月后的第一个里程碑，对于百川智能来说是一个良好的开端。百川-7B模型不仅可以支持百川智能中国的AGI事业做出了贡献，为世界大型模型开源社区贡献了新的力量。”

开源地址：

拥抱脸：https://huggingface.co/baichuan-inc/baichuan-7BGithub：https://github.com/baichuan-inc/baichuan-7B模型范围：https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary