澎湃新闻人像抠图已经满足不了研究者了,这个研究专门给动物抠图,毛发根根分明( 二 )
下图对比了不同合成图像方法 , 其中 c 和 d 使用的背景图像来自 BG-20k 数据集:
本文插图
BG-20k 数据集具备以下特征:
本文插图
动物图像抠图数据集 AM-2K
AM-2k 数据集包含 20 个类别的 2000 张高分辨率自然动物图像 , 并且具备手动标注的前景蒙版 。 研究者将该数据集分割为训练集和验证集 , 并设置了两个评估 track:ORI-Track (Original Images Based Track) 和 COMP-Track (Composite Images Based Track) 。
下表展示了 AM-2k 数据集与现有抠图数据集的对比情况:
本文插图
该数据集中的示例参见下图:
本文插图
实验
定量和主观评估
下表 2 展示了多种 SOTA 方法在 AM-2k ORI-Track 上的结果:
本文插图
与 SOTA 方法相比 , GFM 在所有评估指标上均超过它们 , 通过同时分割前景和背景图像以及在过渡区域抠图 , 取得了最优性能 。
下图 6 展示了不同方法在 AM-2k ORI-Track 上的定性对比结果:
本文插图
从图中可以看出 , SHM、LF 和 SSS 无法分割一些前景部分 , 因为其分段式结构导致模型无法显式地分辨前景 / 背景和过渡区域 。 语义分割和抠图细节是很难平衡的 , 分别需要全局语义特征和局部结构特征 。 HAtt 和 SHMC 无法获得过渡区域的清晰细节 , 因为全局指引有助于识别语义区域 , 但对细节抠图的用户就没那么大了 。
相比而言 , GFM 获得了最优结果 , 这得益于其统一模型 , 使用单独的解码器处理前景 / 背景和过渡区域 , 并以协作的方式进行优化 。
模型集成和混合分辨率测试
如下表 3 所示 , 模型集成的结果优于单个模型:
本文插图
控制变量研究
控制变量研究结果如下表 4 所示:
本文插图
模型复杂度分析
如下表 5 所示 , 使用 DenseNet-121 或 ResNet34 作为主干网络的 GFM 在运行速度上超过 SHM、LF、Hatt 和 SHMC , 它们处理一张图像分别只需大约 0.2085s 和 0.1734s 。
本文插图
论文地址:https://arxiv.org/pdf/2010.16188v1.pdf
GitHub 地址:https://github.com/JizhiziLi/animal-matting
作者还给出了论文解读视频 , 包含 demo , 请戳:
Amazon SageMaker 1000元大礼包
ML训练成本降90% , 被全球上万家公司使用 , Amazon SageMaker是全托管机器学习平台 , 支持绝大多数机器学习框架与算法 , 并且用 IDE 写代码、可视化、Debug一气呵成 。
现在 , 我们准备了1000元的免费额度 , 开发者可以亲自上手体验 , 让开发高质量模型变得更加轻松 。
_本文原题:《人像抠图已经满足不了研究者了 , 这个研究专门给动物抠图 , 毛发根根分明》
- 商洛新闻网 山阳:秦岭腹地走出的“华强北”
- 上观新闻她的名字与“北京时间”联系在一起,首张黑洞照片用的技术她最早在中国倡导
- 每日经济新闻虚拟币又爆大雷!哥伦布网络传销矿机,会员达三百余万人,涉案3亿元
- 债券|新闻解读:我国首次发行负利率主权债券
- 新时尚观察|旗袍美女人像摄影 中国风的传统风格美 文雅端庄东方时尚
- 每日经济新闻充电桩成“摆设”?不能充电、运营单位不知去向!车主充电难,企业盈利也难
- 每日经济新闻微信又放大招!上线新的超实用功能,网友:终于……
- 新闻解读:我国首次发行负利率主权债券
- 每日经济新闻回怼马斯克挑事?小鹏汽车CEO:你要有思想准备,小心“被打得找不着东”!
- 澎湃新闻|杀马特会重新流行起来吗?