向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
南大“三板斧”直指科研评价改革******
从率先引入SCI论文指标,到主动打破“SCI至上”——
南大“三板斧”直指科研评价改革
■新征程新作为
今年,南京大学天文与空间科学学院教师李川顺利晋升为教授。
作为“羲和号”卫星科学与应用系统的总设计师,从2015年起,李川便将主要精力投入卫星工程的论证和研发中,志在解决我国太阳物理研究严重依赖国外卫星数据的“卡脖子”问题。经过团队多年艰苦付出,2021年,“羲和号”发射成功,开启了我国空间探日的时代。正是由于在这项国家重大工程中的突出贡献,李川在今年的教授职称评审和答辩中获得了校内外评委一致认可,顺利晋升。
党的二十大报告提出,深化科技体制改革,深化科技评价改革。近年来,南大积极改革科研评价体系,坚持质量与贡献导向,取消了“数论文、数项目、数奖项”单一评价体系,重点评价学术贡献、社会贡献以及人才培养贡献,为科研创新注入源头活水。
优化考评体系,避免一把尺子量到底
20世纪80年代末,南大作出了一项至今还在影响我国高等教育界的决定:率先从国外引入SCI(科学引文索引)论文指标,作为当时教师职称评审、博士生学位授予的重要评价标准。
这项改革对于当时还较为封闭的国内高校来说,无疑是一颗“重磅炸弹”。“当时国内外学术水平差距较大,缺乏客观有效的科技评价体系,SCI论文指标凭借其透明、简单、客观等优势,迅速在国内得到广泛应用,对推动南大等国内高校科研成果走向国际舞台起到了积极作用。”南大科学技术处处长姜田表示。
20世纪90年代起,在国际学术期刊上发表的SCI论文数量等量化指标,成为中国考核评价学术成果的主要标准。然而,过度追求SCI论文数量的现象逐渐显现,科研工作出现了价值追求扭曲、学风浮夸浮躁和急功近利等问题。
打破“SCI至上”,避免一把尺子量到底,曾经的“吃螃蟹者”开启了改革的步伐,从2014年提出做问题导向的原创研究,到2018年提出构建“三位一体原创驱动式”科学研究新模式,一系列改革让南大科研评价的理念更加明晰:建立以科技创新质量、学术贡献为导向的评价体系,让科研人员在创新链条上走得更远。
如今,南大吹响了科研评价改革“先锋号”,正在实践以质量和贡献为要素,以论文、奖项、专利、专著、决策咨询报告、文献整理、学术译著、艺术创作等各类成果形式为支撑的综合评价体系。同时,全面考察人才在培养周期内的表现,包括师德师风、教育教学、科学研究、社会服务、专业发展等。
从事传感芯片相关研究的南大教师张丽敏就是“不唯论文和影响因子”评审机制的受益者。5年来,她专注于国家战略和民生需求引导的科研工作。尽管相关研究存在难度大、周期长、期刊影响因子低等问题,但这并未阻碍她晋升为教授。职称评审时,张丽敏重点介绍了研究工作的原创性和自主知识产权的完整性,展示了相关成果在非接触可穿戴设备、运动姿势识别等领域的应用与前景,获得评委认可,顺利晋升。
“对取得重大理论创新成果、前沿技术突破、解决重大工程技术难题、在经济社会事业发展中作出重大贡献的教师,申报高级职称时论文不作限制性要求,进一步倡导学术贡献、社会贡献。”中国科学院院士、南大校长吕建表示,创新服务是教师的第一贡献。学校紧紧围绕“双一流”建设总体目标,大力开发教师“第一资源”,突出质量贡献,着力下好科研评价改革“先手棋”。
为了进一步激发科研人员创新活力,2021年,南大完善科研创新激励办法,由过去简单的工分制变成主客观评价相结合的形式,不可量化的贡献有了体现方式。同时,纳入评价的成果形式更加多元,论文在量化评价环节中的权重明显降低。
落实分类评价,打通各类人才晋升通道
南大艺术学院教师陆庆龙擅长油画和水彩画,他的50多幅作品被中国美术馆、中国国家博物馆、江苏美术馆等机构收藏。
“作为美术专业,实践性与创作能力一直是这个专业应该具备的重要特质,但在综合类大学的职称评审体系中往往不受重视。”让陆庆龙欣慰的是,南大充分考虑到实践类专业特点,在职称评审中予以突破。
在评审述职中,陆庆龙没有简单地选择期刊学术文章进行介绍,而是重点展示了自己近年来的美术创作。他在业界高度认可的“全国美术作品展览”上分别获得了“中国美术奖”金、银、铜奖,这些优秀创作成果得到了专家评委一致认可,使他顺利晋升教授。
在南大,越来越多像陆庆龙这样的特殊人才被“破格”聘用。作为全国较早开展分类评价的高校之一,南大在人文、社科、数理等学科分类基础上,进一步打破同质化评价标准,围绕学科特殊性,有针对性地分类设置审查形式及要求,并深化推行代表作制度,建立更专业的“小同行”专家组进行评审,确保评审客观、公正和专业。
例如,在校内学科学术方向中较为小众冷僻或专业特色明显的语言、书画艺术等被列入“冷门绝学”评审组,增加“作品参加国家顶级展览”“被著名博物馆收藏”等定性指标描述;面向航空航天等国家需求的科研人员设立专用先进技术学科组,评价重点放在是否在专用先进技术领域获得较大学术影响或取得经济、社会效益。
南大电子科学与工程学院副教授陈乐长期从事航空航天领域相关工作,多次主持并参与航天部门重要科研项目,但由于科研项目的特殊性,成果难以成文。在过去的评价导向下,特殊科研项目一线研究人员在职称评审中往往竞争力不足,人才的“引、留、用”困境难以解决。
针对此类人才评价特殊性,南大积极“做减法”。教师的职称评审不再唯论文数量,转而关注人才的代表性成果,兼顾科研任务类型和国家与社会认可度。根据科研项目等级,构建合理、公平、透明的人事考核制度,同时配套相应的目标激励和政策激励制度等。
“分类评价体系让青年科研人员最大化享受政策红利,有更多的获得感和成就感,激励我们聚焦主责主业,能够轻装远行。”陈乐说。
据统计,在2019到2021年度专用先进技术学科组职称评审中,最终评定教授5人、副教授2人;在特殊岗位学科组评审中,2人获评教授。
“学校积极在不同学科、不同层次、不同阶段人才特点的精细化分类评价机制上积极探索。”南大人力资源处副处长孙涛表示,希望通过健全分类评价体系,破除思想桎梏,让更多青年科技人才心无旁骛地面向国家重大需求,潜心前沿基础研究,推动学校师资队伍建设高质量发展。
坚持发展性评价,尊重人才成长规律
“在我工作初期长时间没有高水平论文产出的情况下,学校充分肯定了实验室建设的进展。”今年,南大现代工程与应用科学学院教授聂越峰入选国家重大人才工程,成为学校A层次领军人才。回顾这些年科研历程,聂越峰认为,学校提供的良好科研条件和宽松学术环境,让他坚定信心瞄准颇具挑战的前沿基础问题展开研究。
自2015年来到南大后,聂越峰一直致力于建设具有国际领先水平的氧化物分子束外延与原位角分辨光电子能谱实验平台,到2018年首聘期考核时,他只发表了一篇论文。但学校对其工作状态和阶段性成果进行了综合评价,继续给予支持。2019年,他带领团队制备出世界上最薄的钙钛矿氧化物新型二维材料,并取得系列进展,相关成果两度发表于《自然》杂志。
聂越峰的经历并非个例。近年来,南大尊重人才成长规律,坚持将发展性评价思想贯穿于考核评价工作全过程,使人才评价激励机制从“指挥棒”升级为“推进器”、从“检测站”转型为“加油站”。学校邀请同行专家共同组成专家组,注重聘期进展,对于早期在搭建实验平台投入较多精力、建设进展较好、论文成果显示度不高的人才给予充分肯定。
对于处在不同发展阶段的人才,南大倡导不同的学术成果显示内容,重点评估发展潜力,对青年学者,注重学术活跃性的评价,鼓励他们立足科学前沿攀登科学高峰,逐步形成自身学术特色;对中青年学者,注重个人学术研究系统性的评价,鼓励他们建立和扩大自身学术影响力,着力组织科研团队主持承担国家级重大课题;对于学科带头人,注重评价其学术研究高度,鼓励他们提携培养青年人。
“对不同学科领域、不同发展层次的教师而言,科研产出的周期和方式均有所差异,坚持考核与跟踪相结合、评价与发展相一致是南大发展性评价的核心理念。”孙涛介绍,动态性与科学性相结合的评价方式,给“一顶帽子戴到底”的痼疾下了一剂猛药,避免了仰赖头衔、逆向“发展”现象的滋生,而在评价过程中贯彻“引育并举”原则,有力提升了师资队伍整体实力,增强了人才队伍的竞争力与活力。
科技立则民族立,科技强则国家强。当前,南大正广泛开展“全面贯彻二十大精神,加快建设‘第一个南大’”大讨论,充分借鉴师生真知灼见,为建设世界一流大学解放思想、集思广益、凝聚力量。中国科学院院士、南大党委书记谭铁牛表示,学校将全面落实习近平总书记建设“第一个南大”的重要指示和重要回信精神,着力发挥教育、科技、人才的基础性、战略性支撑作用,建设一流教学科研队伍,提供战略人才支撑,不断培养战略科学家,打造一流科技领军人才和创新团队,造就一流青年科技人才队伍,为实现中华民族伟大复兴作出新的更大贡献。(本报记者 焦以璇 通讯员 于玥晗)