3,094
个编辑
更改
跳到导航
跳到搜索
第1行：
第1行： − + + + 第17行：
第19行： − + 第25行：
第27行： − + 第31行：
第33行： − + 第38行：
第40行： − + 第48行：
第50行： − + 第63行：
第65行： − + − + 第86行：
第88行： − + 第94行：
第96行： − + 第116行：
第118行： − +
无编辑摘要
=== <big>背景</big> ===
“极数（LimiX）”是面向结构化数据的通用大模型（LDM），由清华大学崔鹏团队与稳准智能联合研发并于 2025 年 8 月开源，旨在弥补通用 LLM 在表格、时序等结构化数据上的短板，提供跨行业、跨任务的一体化能力。其通过因果启发的预训练与掩码重构机制，在完全使用因果合成数据训练的前提下，学得数据联合分布与因果依赖，可零训练即插即用地完成分类、回归、插补、生成、因果推断/发现等多任务，并在 600+ 数据集与多项工业实战中达到或超越专用 SOTA。模型采用双维注意力与先验特征库嵌入的 Transformer 架构，支持高效微调，已在运维与工艺优化等场景显著提升准确率与效率，成为泛工业智能化升级的通用底座。
=== 背景 ===
[[文件:Mask group.png|900x900像素|替代=|居中|
[[文件:Mask group.png|900x900像素|替代=|居中|
[[文件:模型性能总览.png|居中|缩略图|1600x1600像素|模型性能总览]]
[[文件:模型性能总览.png|居中|缩略图|1600x1600像素|模型性能总览]]
=== <big>研发团队</big> ===
=== 研发团队 ===
<big>“极数”模型的研发核心力量，由清华大学计算机系崔鹏教授牵头组建，团队汇聚了学术研究与产业落地的双重优势，其技术突破背后是深厚的科研积淀与前瞻性的方向布局。</big>
<big>“极数”模型的研发核心力量，由清华大学计算机系崔鹏教授牵头组建，团队汇聚了学术研究与产业落地的双重优势，其技术突破背后是深厚的科研积淀与前瞻性的方向布局。</big>
=== <big>极数大模型简介</big> ===
=== 极数大模型简介 ===
<big>“极数”大模型将多种能力集成到同一基础模型中，包括：分类、回归、缺失值插补、数据密度估计、高维表征抽取、数据生成、因果推断、因果发现和分布外泛化预测等；在拥有优秀结构化数据建模性能的同时，极大提高了模型的通用性。</big>
<big>“极数”大模型将多种能力集成到同一基础模型中，包括：分类、回归、缺失值插补、数据密度估计、高维表征抽取、数据生成、因果推断、因果发现和分布外泛化预测等；在拥有优秀结构化数据建模性能的同时，极大提高了模型的通用性。</big>
==== <big>模型技术架构</big> ====
==== 模型技术架构 ====
[[文件:ModelStructure.png|1000x1000像素|替代=|居中|极数：模型架构]]
[[文件:ModelStructure.png|1000x1000像素|替代=|居中|极数：模型架构]]
<big>“极数”大模型沿用了transformer架构，并针对结构化数据建模和任务泛化进行了相关的优化。“极数”大模型先对先验知识库中的特征和目标分别进行embedding；之后在主要模块中，在样本和特征维度上分别使用注意力机制，来聚焦关键样本的关键特征。最终，提取到的高维特征被分别传入regression head和classification head，实现对不同功能的支持。</big>
<big>“极数”大模型沿用了transformer架构，并针对结构化数据建模和任务泛化进行了相关的优化。“极数”大模型先对先验知识库中的特征和目标分别进行embedding；之后在主要模块中，在样本和特征维度上分别使用注意力机制，来聚焦关键样本的关键特征。最终，提取到的高维特征被分别传入regression head和classification head，实现对不同功能的支持。</big>
==== <big>训练数据构建</big> ====
==== 训练数据构建 ====
==== <big>模型优化目标</big> ====
==== 模型优化目标 ====
[[文件:Maskprediction.png|700x700像素|替代=|居中|
[[文件:Maskprediction.png|700x700像素|替代=|居中|
==== <big>模型推理</big> ====
==== 模型推理 ====
<big>在推理应用环节，“极数”大模型具备极强的场景适配性与任务灵活性。该模型无需针对特定场景或任务进行额外训练，即可直接接收表格、时序、图等多形态结构化数据输入；用户仅需明确分类预测、回归预测、缺失值补全、数据生成、因果推断、因果发现等具体任务类型，模型即可自动完成数据解析、逻辑建模与结果输出，真正实现即插即用模式，高效覆盖各类结构化数据处理需求。此外，“极数”大模型还支持针对数据集进行模型高效微调，可使模型学习更全面的数据中的因果联系，在预测层面的性能会进一步提升。</big>
<big>在推理应用环节，“极数”大模型具备极强的场景适配性与任务灵活性。该模型无需针对特定场景或任务进行额外训练，即可直接接收表格、时序、图等多形态结构化数据输入；用户仅需明确分类预测、回归预测、缺失值补全、数据生成、因果推断、因果发现等具体任务类型，模型即可自动完成数据解析、逻辑建模与结果输出，真正实现即插即用模式，高效覆盖各类结构化数据处理需求。此外，“极数”大模型还支持针对数据集进行模型高效微调，可使模型学习更全面的数据中的因果联系，在预测层面的性能会进一步提升。</big>
=== <big>模型效果</big> ===
=== 模型效果 ===
<big>“极数”大模型在无需针对数据集进行专项训练的情况下，在分类、回归等多项结构化数据核心任务上取得了优异的性能表现。</big>
<big>“极数”大模型在无需针对数据集进行专项训练的情况下，在分类、回归等多项结构化数据核心任务上取得了优异的性能表现。</big>
=== <big>模型落地应用</big> ===
=== 模型落地应用 ===
<big>目前，“极数”大模型凭借其优越的通用建模能力，有效破解了传统专用模型在工业场景“数据稀缺、质量参差、环境异质”情况下的能力瓶颈，已在多个关键工业场景中成功落地。</big>
<big>目前，“极数”大模型凭借其优越的通用建模能力，有效破解了传统专用模型在工业场景“数据稀缺、质量参差、环境异质”情况下的能力瓶颈，已在多个关键工业场景中成功落地。</big>
=== <big>开源地址</big> ===
=== 开源地址 ===
'''<big>项目主页：</big>'''
'''<big>项目主页：</big>'''
=== <big>结语</big> ===
=== 结语 ===
<big>在当前人工智能的发展浪潮中，大语言模型（LLM）通过大规模预训练实现了“语义空间的通用世界模型”，而如何面向工业数据的独特属性，构建“数据空间的通用世界模型”，已成为AI迈向产业纵深的关键命题。在这一目标的驱动下，发展能够跨场景、跨任务、跨环境的结构化数据通用大模型（LDM）势在必行。我国凭借丰富的工业数据资源与多元的应用场景，有望在LDM领域打造出独特的“非对称竞争力”。清华大学团队此次开源发布的“极数”大模型，正是这一方向上的重要突破。期待以此为起点，共同迎接LDM的“GPT-3时刻”早日到来。</big>
<big>在当前人工智能的发展浪潮中，大语言模型（LLM）通过大规模预训练实现了“语义空间的通用世界模型”，而如何面向工业数据的独特属性，构建“数据空间的通用世界模型”，已成为AI迈向产业纵深的关键命题。在这一目标的驱动下，发展能够跨场景、跨任务、跨环境的结构化数据通用大模型（LDM）势在必行。我国凭借丰富的工业数据资源与多元的应用场景，有望在LDM领域打造出独特的“非对称竞争力”。清华大学团队此次开源发布的“极数”大模型，正是这一方向上的重要突破。期待以此为起点，共同迎接LDM的“GPT-3时刻”早日到来。</big>