在近日举办的第一届空天信息技术大会上，中国科学院空天信息创新研究院（空天院）付琨研究员团队联合鹏城实验室，正式发布自主研制的百亿级遥感解译基础模型——“空天·灵眸”3.0版，这是迄今为止全球首个百亿参数级空天一体遥感解译基础模型。
据介绍，“空天·灵眸”是我国首个面向多模态遥感数据生成式基础模型，也是首个专为遥感领域打造的专业基础模型。自2022年首次推出后，空天院研究团队在“基础模型+下游任务”计算范式积累上持续探索。今年3月起，研究团队与鹏城实验室深度合作，基于中国算力网“鹏城云脑II”枢纽节点，采用512张昇腾910显卡，历时数月攻关完成了在4亿张国产化多模态空天遥感数据样本上的预训练，基础模型参数规模首次超过百亿。
中国科学院空天信息创新研究院研究员孙显介绍，如果把基础模型看作是一个机器人，那“参数”就相当于它的“记忆细胞”和“知识细胞”。如果参数规模小，它能记住和处理的信息就相对有限，只能做一些比较简单的任务。参数规模越大，这两种细胞就越多，就能捕捉、记忆和处理更复杂的信息，从而更加准确、精细地完成更困难、更复杂的任务。
“空天·灵眸”3.0版内核工作架构是基于热传导，这是联合团队自主研发的一套小而精的原创性架构。受传热学物理思想启发，联合团队将场景目标间视觉语义传播建模为热能扩散过程，从而使该架构有效突破了遥感模型推理的性能和速度瓶颈。
孙显表示，“目前传统的、用于处理遥感图像的基础模型架构（transformer结构）本质上是基于文本处理架构发展而来，在处理分析图像速度方面存在瓶颈。而‘热传导’的架构，则是吸收了物理的传热学原理。”这一架构实现了模型数据学习、推理等速度的大幅提升。例如，原来训练1千万张数据样本，需要大约300多块显卡，现在不仅只需要三分之一的数量，处理速度还能提升约2.4倍。
据悉，目前“空天·灵眸”3.0版在覆盖场景分类、目标检测、语义分割、变化检测等6大类任务的23个国际基准数据集上测试，较比当前的主流模型，精度平均提升4%至10%，指标均达到领先水平，并已在应急、国土、海洋、住建等多个行业部署试运行，特别是在最具挑战性的复杂要素精细分类、运动小目标连续跟踪等任务上性能卓越，为天临空地一体化应用提供了一套行之有效的解决方案。未来，研究团队将持续推动“空天·灵眸”3.0版在国民经济各个行业的落地应用。
原文链接：https://proapi.jingjiribao.cn/detail.html?id=546697
动态新闻