资讯
2023-08-24 11:23 来源:快科技 作者:快科技
用手机看
8月24日消息,近日,由蚂蚁技术研究院交互智能实验室打造的最新视频处理算法CoDeF,在全球开源平台GitHub上热度飙升,发布仅一周时间就在GitHub流行趋势榜单上的Python语言分类中冲到了第一。
据悉,CoDeF是一项真实时、强细节、高保真的视频处理技术,用于完成视频风格迁移任务。
实验表明,CoDeF技术能够毫不费力地将图像风格化算法升级为视频风格化算法,将图像关键点检测算法升级为视频关键点跟踪算法(甚至包括水和烟雾等非刚性物体的追踪),将图像语义分割算法升级为视频物体跟踪算法,将图像超分算法升级为视频超分算法,同时支持用户可交互的视频内容编辑。
近年来,随着以图像生成、图像编辑等任务为代表的视觉内容生成领域取得突破性进展,视觉生成正向着视频方向发展。特别是真实应用场景下,人们对视频的实时性、流畅性、保真度等方面提出了更高要求。目前的主流算法多受限于生成视频时序一致性较差的问题,导致其生成效果无法直接在真实场景中应用。
为了解决这一问题,蚂蚁技术研究院的研究员们提出了一种全新的解决思路——将视频处理简化为图像处理。
具体来说,将视频表示为一个2D内容规范场(canonical content field)和一个3D时间形变场(temporal deformation field),其中内容规范场负责整合一段视频中包含的所有纹理信息,而时间形变场则负责建模视频里的动态信息。换言之,每一帧视频都利用这个形变场对内容规范场所编码的的规范图像(canonical image)进行变形,就可以恢复出该帧图像。
基于这种表征技术,视频处理任务可以简化为图像处理任务,用户只需要处理每个视频对应的静态规范图像,然后通过形变场的变换,就可以将图像处理结果自然地沿着时间维度进行传播,达到对整个视频处理的目的,也因此保证了高度的时序一致性。
值得一提的是,研究者们设法尽量降低规范图像和真实图像的域差(domain gap),使得现有的图像算法可以不加任何训练地应用到规范图像上,完成视频处理。
该技术在GitHub发布并开源后,不仅在技术圈影响广泛,在Twitter平台也“火”出了圈。不少Twitter网友直呼“不敢相信!”、“这是一个巨大的飞跃!”,还有人说“只需给它一年时间,就能被用在电影制作上了”。
据悉,这项技术是由蚂蚁集团技术研究院交互智能实验室历时三个月时间完成。项目主要负责人是蚂蚁技术研究院交互智能实验室研究员沈宇军,其主要研究方向为计算机视觉和深度学习。
项目的另外三位主要作者分别为香港科技大学的博士生欧阳豪、蚂蚁技术研究院的王秋雨、和浙江大学的博士生肖宇曦,其中第一名和第三名参与者当下为蚂蚁集团的研究型实习生。
自2021年成立以来,蚂蚁技术研究院一直致力做有用、有想象力的科研。面向数字化、智能化未来,瞄准世界科技前沿,推进关键核心技术攻关。
其中,交互智能实验室主要聚焦计算机视觉和自然语言处理方向的基础模型研究,开发通用人工智能算法架构,包括内容生成、多模态理解、数字化、人机交互等关键技术。
以上就是手游巴士为您提供《视频处理巨大飞跃!蚂蚁前沿视频处理技术CoDeF火出圈 国外网友直呼“不敢相信!”》的详细内容,更多精彩内容请继续阅读上一篇《少见城市背景开放世界:网易新游《代号:无限大》发布实机演示》2023-08-24 女子淘旧相机冲洗出原主人照片:暖心寻找原主人
2023-08-24 女子淘旧相机冲洗出原主人照片:暖心寻找原主人
2023-08-24 日本今天要排200吨核废水!福岛核事故影响 患癌人数逐年上升 或对美国影响更大
2023-08-24 日本今天要排200吨核废水!福岛核事故影响 患癌人数逐年上升 或对美国影响更大
2023-08-24 石头P10 Pro自清洁扫拖机器人正式官宣:60℃热水复洗
2023-08-24 石头P10 Pro自清洁扫拖机器人正式官宣:60℃热水复洗
2023-08-24 少见城市背景开放世界:网易新游《代号:无限大》发布实机演示
2023-08-24 少见城市背景开放世界:网易新游《代号:无限大》发布实机演示
2023-08-24 视频处理巨大飞跃!蚂蚁前沿视频处理技术CoDeF火出圈 国外网友直呼“不敢相信!”
2023-08-24 视频处理巨大飞跃!蚂蚁前沿视频处理技术CoDeF火出圈 国外网友直呼“不敢相信!”
2023-08-24 果味缤纷,清凉一夏!使命召唤手游多重好礼炫彩来袭
2023-08-24 首位AI港姐司仪诞生:用过去50年港姐冠军合成!
2023-08-24 鸿蒙座舱、华为ADS 2.0智驾上车!阿维塔11鸿蒙版今晚上市
2023-08-24 领先华为Mate60!摩托罗拉将首发天通卫星手机壳:能打卫星电话
2023-08-24 电影《坚如磐石》全员素颜!张艺谋:我不负责拍漂亮
2023-08-24 极氪009换壳?沃尔沃EM90纯电MPV预告:11月12日全球首发
2023-08-24 《天下》手游朔风漠探索大升级!融合丹、英魂之玉等好礼领不停
2023-08-24 特斯拉Model Y性能全面测试:通过可靠性0分 舒适性测过的车中最差
2023-08-24 OPPO Watch4 Pro官宣:搭载骁龙W5 可穿戴芯片天花板
2023-08-24 联合比亚迪电子研发!真我GT5首发“奇迹玻璃”:不惜成本打造
2023-08-24 联合比亚迪电子研发!真我GT5首发“奇迹玻璃”:不惜成本打造
2023-08-24 联合比亚迪电子研发!真我GT5首发“奇迹玻璃”:不惜成本打造
2023-08-24 三星或将公布自家类ChatGPT AI:撰写邮件、优化代码全能
2023-08-24 三星或将公布自家类ChatGPT AI:撰写邮件、优化代码全能
2023-08-24 三星或将公布自家类ChatGPT AI:撰写邮件、优化代码全能
手游巴士
手游巴士