问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

遥感论文 | Arxiv | 遥感视觉大模型(RSGPT)+全新遥感图像文本Benchmark...

发布网友 发布时间:2024-09-30 15:17

我来回答

1个回答

热心网友 时间:2024-11-11 14:49

大型语言模型(LLMs)的崛起,以GPT-4为代表,引领人工智能2.0时代,促进了AI的快速发展。在遥感领域,研究开始关注专门针对该领域数据分析的大型视觉语言模型(VLMs),但目前研究多集中于视觉识别任务,缺乏全面、大规模的图像-文本数据集。

基于此,本文构建了两个数据集:RSICapDataset。基于DOTA目标检测数据集,构建了RSICap。通过将DOTA-v1.5验证集中的图像划分为512×512大小的块,并从中选择100张进行手动注释,由五名遥感专家完成。为基准测试RSIC任务创建了相应的字幕;对于RSVQA任务,为每个图像生成了问题-答案对。

RSGPT,一种为遥感(RS)视觉语言任务设计的预训练方法,采用InstructBLIP的预训练权重进行初始化。在微调阶段,仅对模型进行5个时期的训练,batchsize设为64。采用AdamW优化器,设置β1 = 0.9,β2 = 0.999,权重衰减为0.05。初始学习率为3e-5,1个时期内对学习率进行热身,余弦策略用于衰减计划。所有模型使用8个NVIDIA A100 GPU进行训练。

使用提出的评估数据集RSIEval,将RSGPT与BLIP2、MiniGPT4和InstructBLIP进行对比评估。通过手动评分评估模型在遥感图像字幕生成(RSIC)和遥感视觉问答(RSVQA)任务上的性能。

在RSIC任务中,每个模型为RSIEval中的100张图像生成了相应的字幕,从详细描述、位置描述和臆想描述三个维度进行评分。采用四级评分系统,分别为A、B、C或D进行评级,各维度评分结果如图所示。在RSVQA任务中,测试集中的936个问题分为10个类别,覆盖了从对象级别到图像级别、场景级别和推理级别的问题。

通过与SOTA模型对比,本文提出了遥感数据集RSICap和遥感大模型RSGPT,为遥感领域带来了创新和突破,显著提升了相关任务的处理能力。
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
太平盛世专辑曲目 梦见自家灶台缺个角 如何看待宝马3系? - 知乎 为什么缺爱的女人婚姻难幸福快乐 求一些好看的架空言情小说,最好是以第一人称为视角的。小白文请绕。 带双目相机的无人机有哪些 禄莱1982年后 工业3d相机国内有哪些靠谱的厂商,特别是在阳光和弱光环境 海康全新双目单线相机 | 消盲区、抑杂光,引领3D检测新突破 10米范围内实现零盲区大FoV深度测量,奥比中光发布Gemini 2双目... 人工智能中ARAIVR是什么意思? 一般很会土味情话一般都是会撩人的 情商很高的对吧? 人工智能中AR A ar人工智能训练用什么计算机ar人工智能模型训练一般采用什么计算机 梦见鱼塘里闪光,父亲走进去,被鱼塘里的怪物拖进水里,没了影子,这样的梦... ...发现水怪,牛羊被拖走没人敢靠近,专家看后知晓答案,答案是什么... 嗓子受刺激哑了,怎样好得快? 45的鞋码对应多少厘米 小米CC系列会发布哪些型号的手机? ...还有哪些两位小数保留一位小数后的5.5的,请把它们全部按? 一个三位小数保留两位小数的结果是5.4,这个数最大是多少?最小是... 秦观表示美好未来的诗词 苹果壁纸动态怎么弄成自己动 苹果手机动态壁纸不可以自己动的吗?就不可以像安卓系统那样自己动? ...是肿胀,手就攥不起来,耳朵也肿得很厚,是怎么回事啊? 淘宝代付款的订单退款后退款退掉哪里 晚上梦见吃杏把老婆胳膊咬了是怎么回事? 淘宝订单取消后订单会自动关闭吗? 老婆梦见你了,我梦到我把[爱心]掏出来要给你看 你却把它吃了? 在外省读大学的好处有哪些? 做梦梦见捡钱是什么兆头 你好!我用红米手机,我上qq空间,一有人评论或者动态就有提示声音响。怎么... 青岛的夜景应该怎么观赏? 天津的夜景怎么样? 电脑怎样才能不设密码? 什么软件可以查询etc余额 win7如何设置SQL服务器 vivo手机免费上网 《地球最后一分钟》作文300字 写一篇作文以拔下钥匙写一篇这样的事例 晚上水费欠费停水后如何在网上快速缴费恢复供水? 魔兽世界buff怎么设置快捷键 宁波帮发展时期 realme怎么设置虚拟按键 1219098701201503291453945564京东的交易订单,之后怎么看物流... 做梦梦见白蛇是什么意思? 100淘宝金币可以做什么?相当于多少价值 淘宝 淘金币抵帐 金币实际进帐多少 wps会员账号可以在多台电脑同时登陆么? ...婚纱结婚,我给他带金项链,但是脖子太粗了,戴不进去,什么意思...