201
个编辑
更改
→14B 参数模型
|6.125
|6.125
|}
|}
本图为五种14B参数模型的性能对比，通过“Average (lower=better)”指标以及在ao3 english、bbc news、wikipedia english、arxiv computer science、arxiv physics、github cpp和github python等不同数据集上的具体表现来衡量。突出RWKV-6-14B-v2.1，其参数量为14.069B，在所有模型中处于中等水平。RWKV的平均性能为7.609，优于Llama-2-13b-hf、Qwen1.5-14B和pythia-12b-v0，但略逊于Mistral-Nemo-Base-2407，这表明其整体表现良好。在特定数据集上，RWKV在英文文本数据集的表现通常优于其他几款，但略逊于Mistral-Nemo-Base-2407；在科学文献数据集上，RWKV的性能与Llama-2-13b-hf和Qwen1.5-14B接近，但仍不及Mistral-Nemo-Base-2407；在代码数据集上，RWKV的表现相对较好，尤其在github python上，其性能为5.33，优于Llama-2-13b-hf和Qwen1.5-14B，但不及Mistral-Nemo-Base-2407。总的来说，RWKV-6-14B-v2.1在14B参数级别的模型中，展现出较好的综合性能，尤其在英文文本和代码相关任务上具有竞争力，仅次于榜首的Mistral-Nemo-Base-2407。
=== 7B 参数模型 ===
=== 7B 参数模型 ===
|11.268
|11.268
|}
|}
本图列出了多款7B参数模型的性能，通过“Average (lower=better)”指标及其在多个英文文本、科学和代码数据集上的表现进行全面评估。Meta-Llama-3.1-8B以其卓越的平均性能7.227位居榜首，并在所有测试类别中都展现出强大实力，尤其在代码任务上表现抢眼；Qwen2.5-7B和Qwen2-7B紧随其后，性能亦相当出色。值得关注的是，RWKV-6-World-7B-v2.1和RWKV-5-World-7B-v2两款RWKV系列模型虽然平均性能略逊于前三者，但它们在github cpp和github python等代码相关任务上展现出不俗的竞争力。相较之下，pythia-6.9b-v0和mamba-7b-rw等模型则在各项指标上表现相对较弱。总体而言，7B参数级别的模型在通用语言理解和生成能力上存在显著差异，其中Meta-Llama-3.1-8B表现最为突出，而RWKV系列则在特定领域展现了潜力。
=== 3B 参数模型 ===
=== 3B 参数模型 ===
|5.484
|5.484
|}
|}
本图展示了多款3B参数模型的性能对比，通过“Average (lower=better)”指标及其在ao3 english、bbc news、wikipedia english、arxiv computer science、arxiv physics、github cpp和github python等不同数据集上的表现进行衡量。在这些3B模型中，Llama-3.2B以3.213B的参数量和7.573的平均值表现最佳，几乎在所有数据集上都位居前列，尤其在github cpp和github python上的性能分别为4.590和4.654。紧随其后的是Qwen2.5-3B和RWKV-x070-World-2.9B-v3-20250211-ctx4096，它们的平均性能分别为7.663和7.737，表现也相当出色。值得注意的是，RWKV系列模型（如RWKV-x070-World-2.9B-v3-20250211-ctx4096、RWKV-x060-World-3B-v2.1-20240417-ctx4096和RWKV-5-World-3B-v2-20231113-ctx4096）在代码数据集上的表现普遍优于其他一些同参数量模型，显示出其在代码理解和生成方面的潜力。总体来看，在3B参数级别的模型中，Llama-3.2B目前处于领先地位，而Qwen系列和RWKV系列也在各自的优势领域表现突出。
=== 1.5B 参数模型 ===
=== 1.5B 参数模型 ===
|6.919
|6.919
|}
|}
本图展示了多款1.5B参数模型的性能对比，通过“Average (lower=better)”指标及其在ao3 english、bbc news、wikipedia english、arxiv computer science、arxiv physics、github cpp和github python等不同数据集上的表现进行全面评估。在这些模型中，Qwen3-1.7B-Base以1.721B的参数量和7.915的平均值表现最为出色，几乎在所有数据集上都位居前列，尤其在github cpp和github python上的性能分别为4.177和4.214。紧随其后的是rwkv7-g1-1.5B-20250429-ctx4096和Qwen2.5-1.5B，它们的平均性能分别为7.975和8.058，表现同样优秀。值得注意的是，RWKV系列模型（如rwkv7-g1-1.5B-20250429-ctx4096、RWKV-x070-World-1.5B-v3-20250127-ctx4096和RWKV-x060-World-1B6-v2.1-20240328-ctx4096）在代码数据集上的表现普遍较好，显示出其在代码理解和生成方面的竞争力。相较之下，Falcon3-1B-Base和pythia-1b-v0等模型则在各项指标上表现相对较弱。总体而言，在1.5B参数级别的模型中，Qwen3-1.7B-Base目前处于领先地位，而RWKV系列则在特定领域（尤其是代码任务）展现了显著优势。
----
----
== RWKV 与其他模型对比 ==
== RWKV 与其他模型对比 ==