更改

[[文件:Mask group.png|左|900x900像素]]

[[文件:Mask group.png|左|900x900像素]]

[[文件:TALENT性能对比.png|左|800x800像素]]

[[文件:TALENT性能对比.png|左|800x800像素]]

<big>2022 年 OpenAI 推出 ChatGPT 引发大模型技术浪潮后，崔鹏教授敏锐洞察到结构化数据方向大模型技术的发展潜力，迅速将研究方向从因果稳定学习拓展至结构化数据通用大模型（LDM）领域。依托既有理论积累，团队攻克结构因果数据合成、模型结构设计、跨场景泛化等核心难题，最终实现“极数” 模型在多领域任务中的性能突破，为此次开源奠定关键技术基础。</big>

<big>2022 年 OpenAI 推出 ChatGPT 引发大模型技术浪潮后，崔鹏教授敏锐洞察到结构化数据方向大模型技术的发展潜力，迅速将研究方向从因果稳定学习拓展至结构化数据通用大模型（LDM）领域。依托既有理论积累，团队攻克结构因果数据合成、模型结构设计、跨场景泛化等核心难题，最终实现“极数” 模型在多领域任务中的性能突破，为此次开源奠定关键技术基础。</big>

=== <big>极数大模型简介</big> ===

=== <big>极数大模型简介</big> ===

<big>在预训练阶段，“极数”大模型基于海量因果合成数据学习数据中的因果关系，不同于专用模型在训练阶段记忆住数据特征的模式，“极数”大模型可以直接在不同的上下文信息中捕捉因果变量，并通过条件掩码建模的方式学习数据的联合分布，以适应包括分类、回归、缺失值预测、数据生成、因果推断等各种下游任务。在推理阶段，极数可直接基于提供的上下文信息进行推理，无需训练即可直接适用于各种应用场景。</big>

<big>在预训练阶段，“极数”大模型基于海量因果合成数据学习数据中的因果关系，不同于专用模型在训练阶段记忆住数据特征的模式，“极数”大模型可以直接在不同的上下文信息中捕捉因果变量，并通过条件掩码建模的方式学习数据的联合分布，以适应包括分类、回归、缺失值预测、数据生成、因果推断等各种下游任务。在推理阶段，极数可直接基于提供的上下文信息进行推理，无需训练即可直接适用于各种应用场景。</big>

==== <big>模型技术架构</big> ====

==== <big>模型技术架构</big> ====

<big>不同于传统的树模型和基于transformer架构的LLM，“极数”大模型在训练过程中完全使用生成数据，不依赖于任何真实世界的数据来源。为了使数据生成的过程高效且可控，团队使用了基于结构因果图的数据生成方式：采样到的初始数据在有向无环图上进行传播，通过复杂的边映射和节点交互来模拟现实世界中不同的因果依赖关系；通过对因果图上的生成数据进行采样，最终获得训练数据中的特征和目标。使用这种方法生成的数据，既实现了因果结构上的多样性，又保证了数据的可控性。</big>

<big>不同于传统的树模型和基于transformer架构的LLM，“极数”大模型在训练过程中完全使用生成数据，不依赖于任何真实世界的数据来源。为了使数据生成的过程高效且可控，团队使用了基于结构因果图的数据生成方式：采样到的初始数据在有向无环图上进行传播，通过复杂的边映射和节点交互来模拟现实世界中不同的因果依赖关系；通过对因果图上的生成数据进行采样，最终获得训练数据中的特征和目标。使用这种方法生成的数据，既实现了因果结构上的多样性，又保证了数据的可控性。</big>

==== <big>模型优化目标</big> ====

==== <big>模型优化目标</big> ====

[[文件:Maskprediction.png|左|700x700像素]]

[[文件:Maskprediction.png|左|700x700像素]]

<big>业内专家表示，“极数”大模型的成功落地不仅验证了通用建模技术在工业场景的适用性，更为解决工业数据应用痛点提供了标准化解决方案，有望推动更多工业领域实现智能化升级。</big>

<big>业内专家表示，“极数”大模型的成功落地不仅验证了通用建模技术在工业场景的适用性，更为解决工业数据应用痛点提供了标准化解决方案，有望推动更多工业领域实现智能化升级。</big>

=== <big>开源地址</big> ===

=== <big>开源地址</big> ===

<big><nowiki>https://modelscope.cn/organization/stable-ai</nowiki></big>

<big><nowiki>https://modelscope.cn/organization/stable-ai</nowiki></big>

=== <big>结语</big> ===

=== <big>结语</big> ===

<big>在当前人工智能的发展浪潮中，大语言模型（LLM）通过大规模预训练实现了“语义空间的通用世界模型”，而如何面向工业数据的独特属性，构建“数据空间的通用世界模型”，已成为AI迈向产业纵深的关键命题。在这一目标的驱动下，发展能够跨场景、跨任务、跨环境的结构化数据通用大模型（LDM）势在必行。我国凭借丰富的工业数据资源与多元的应用场景，有望在LDM领域打造出独特的“非对称竞争力”。清华大学团队此次开源发布的“极数”大模型，正是这一方向上的重要突破。期待以此为起点，共同迎接LDM的“GPT-3时刻”早日到来。</big>

<big>在当前人工智能的发展浪潮中，大语言模型（LLM）通过大规模预训练实现了“语义空间的通用世界模型”，而如何面向工业数据的独特属性，构建“数据空间的通用世界模型”，已成为AI迈向产业纵深的关键命题。在这一目标的驱动下，发展能够跨场景、跨任务、跨环境的结构化数据通用大模型（LDM）势在必行。我国凭借丰富的工业数据资源与多元的应用场景，有望在LDM领域打造出独特的“非对称竞争力”。清华大学团队此次开源发布的“极数”大模型，正是这一方向上的重要突破。期待以此为起点，共同迎接LDM的“GPT-3时刻”早日到来。</big>