您好，欢迎访问开博网站！
您好，欢迎访问开博网站！
集团动态
联系开博
发布日期：2024-09-25 作者：开博
若何让模子算法仅操纵“少许、低质量的有标注样本”，就可以实现或接近“年夜量、高质量、有标注数据的样本”所能到达的成果，是小样本进修范畴的要害问题。为此，之江尝试室前沿根本研究中间博士后邵帅为小样本计较研究提出了新思绪。
他的思绪是，经由过程操纵已有根本模子资本的优势潜力，实现下流使命中小样本测试数据的精准分类。近日，该功效以《面向开放世界小样本进修的根本模子结合协作方式》（Collaborative Consortium of Foundation Models for Open-World Few-Shot Learning）为题，在计较机视觉范畴国际顶级会议AAAI上颁发。
邵帅认为，直接利用冻结参数的根本模子可以或许为计较研究节俭年夜量时候和资本。他将那些已练习好的根本模子比作“一本编辑好的百科全书”，将利用根本模子手艺解决小样本进修问题的进程比作“查阅百科全书中与小样本进修相干的部门”。只是，是“从第一页最先渐开博体育渐找”仍是“经由过程目次或全文检索”，分歧检索体例带来的计较效力天差地别。
为此，邵帅等人提出了基在多种根本模子的协作方式（CO3），摸索操纵CLIP、GPT-3、DINO 和DALL-E四种根本模子开启智能计较。
根本模子协作方式流程图。图源：论文 ?
在具体操作进程中，他们设计了四类模块别离用在模子间整合跟尾。邵帅介绍说，起首将小样本数据输入标签校订块（LC-Block），经由过程设计原型布局，来对数据进行降噪。随后将校订数据送入数据加强块（DA-Block），加强模子在数据上的泛化机能，以取得更丰硕的练习数据。接着，将清算后的原始数据和扩凑数据输入特点提取块（FE-Block），获得数据的文本和图象特点。最后将这些特点与特殊设计的TeFu-Adapter相融会调优，进一步减轻噪声标签对模子的影响，加强该方式的鲁棒性。
今朝，该方式已在多个数据集长进行了年夜量尝试，证实了CO3的可行性，乃至在数据质量越低、可用标签样本越少的环境下表征能力越优异。如在噪声比例从0.0到1.0的区间规模内，每类只有一个可用标签样本的环境下，CO3在数据表达的正确性上能不变到达62%以上，统筹了机能与本钱效力的均衡。
“若何弥合小样本进修手艺与实际利用的裂缝，是我们下一阶段要霸占的困难。”邵帅暗示，在之江尝试室智能算力根本举措措施的撑持下，将来他将进一步提高小样本进修算法的泛化能力，摸索回应真实世界的需求场景，不竭冲破智能计较的极限。
注：相干文章颁发在The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)，为会议颁发论文
版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请在正文上方注明来历和作者，且不得对内容作本色性改动；微信公家号、头条号等新媒体平台，转载请联系授权。邮箱：shouquan@stimes.cn。