(记者 崔倩)9月21日,首届空天信息技术大会在山东济南开幕。会议期间,中国科学院空天信息创新研究院(空天院)付琨研究员团队联合鹏城实验室,正式发布自主研制的百亿级遥感解译基础模型——“空天·灵眸”3.0版,这是迄今为止全球首个百亿参数级空天一体遥感解译基础模型。
近年来,我国遥感数据获取能力不断增强,已进入遥感大数据时代,人工智能等技术也为数据服务模式的变革提供了可能。“空天·灵眸”是我国首个面向多模态遥感数据生成式基础模型,也是首个专为遥感领域打造的行业基础模型。自2022年首次推出后,空天院研究团队在“基础模型+下游任务”计算范式积累上持续探索。于今年3月起,研究团队与鹏城实验室深度合作,基于中国算力网“鹏城云脑II”枢纽节点,采用512张昇腾910显卡,历时数月攻关完成了在4亿张国产化多模态空天遥感数据样本上的预训练,基础模型参数规模首次超过百亿。
中国科学院空天信息创新研究院研究员孙显介绍,我们如果把基础模型看作是一个机器人,那么,“参数”就相当于它的“记忆细胞”和“知识细胞”。如果参数规模小,则它能记住和处理的信息就相对有限,只能做一些比较简单的任务。参数规模越大,这两种细胞就越多,它就能捕捉、记忆和处理更复杂的信息,从而更加准确、精细地完成更困难、更复杂的任务。
“空天·灵眸”3.0版内核工作架构是基于热传导,这是联合团队自主研发的一套小而精的原创性架构。受传热学物理思想启发,联合团队将场景目标间视觉语义传播建模为热能扩散过程,从而使该架构有效突破了遥感模型推理的性能和速度瓶颈,计算速度较传统结构模型提升2.4倍以上。
原文链接:https://item.btime.com/45tt1efvp189g1p5idbds9eh2fh
动态新闻