知行编程网知行编程网  2022-08-03 17:00 知行编程网 隐藏边栏 |   抢沙发  22 
文章评分 0 次,平均分 0.0
<p line="init" style=""><br  /></p><p style="text-align: center;"><img class="rich_pages" data-ratio="0.14157303370786517"  data-type="gif" data-w="890" style="" src="https://www.zkxjob.com/wp-content/uploads/2022/08/wxsync-2022-08-691e4257a0538d7c86665dc12e3d4706.gif"  /></p><section style="margin-left: 8px;margin-right: 8px;"><span style="color: rgb(136, 136, 136);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;font-size: 12px;">作</span><span style="color: rgb(136, 136, 136);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;font-size: 12px;">者|</span><span style="color: rgb(136, 136, 136);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;font-size: 12px;">Synced</span><br  /></section><section style="line-height: normal;margin-left: 8px;margin-right: 8px;"><span style="font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;font-size: 12px;color: rgb(136, 136, 136);">编译|ronghuaiyang  <span style="color: rgb(136, 136, 136);font-size: 12px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;">转载|AI公园</span></span></section>
导读

感觉可以当成边缘检测来用。



U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
铅笔素描肖像生成已出现作为Alberta大学的U²-Net的一个有趣和流行的新应用。自用于显著目标检测的新的深度网络架构开源以来,该项目的GitHub页面在三天内收到了超过2400颗星。
在计算机视觉领域中,从自然场景中检测和分割视觉上最吸引人的目标的过程称为显著目标检测(SOD)。现有的大多数SOD网络都有类似的设计,重点利用骨干网AlexNet、VGG、ResNet、ResNeXt、DenseNet等提取的深度特征。然而,这些骨干网络最初是为图像分类任务而建立的,因此它们提取代表语义意义的特征,而不是对显著目标检测至关重要的局部细节或全局参考信息。这样的网络也往往需要在ImageNet上进行低效的预训练。
U²-Net是一种简单而强大的深度网络架构,采用了新颖的两层嵌套U型结构,旨在解决这些问题。提出的残差块(RSU)具有各种不同大小的感受野的混合,使它能够更好地捕捉不同尺度上的上下文信息。RSU还使用了池化操作来增加整体架构的深度,而不会显著增加计算成本。
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
在他们的论文中,研究人员介绍了RSU和用它们构建的嵌套U型结构,并描述了网络的监督策略和训练损失。
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画

现有的卷积块和提出的残差U型块RSU: (a)平面卷积块PLN, (b)Residual-like块RES,©Inception-like块INC, (d)Dense-like块DSE和(e)我们提出的残差U型块RSU


RSU主要由三个部分组成:输入卷积层、L高度的U-Net-like的对称encoder-decoder结构、通过求和融合局部和多尺度特征的残差连接。
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
Residual块和RSU的比较

RSU与原始残差块的主要区别在于,RSU用U-Net-like结构代替了普通的单流卷积,用加权层变换的局部特征代替了原始特征。
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
和其他的特征抽取模块的计算量对比
该团队指出,RSU的计算成本相对较小。他们将此归因于它的U型结构,并且大多数计算操作都应用于下采样的特征映射。
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
提出的U2-Net结构的图解
基于RSU,研究人员开发了U²-Net,一种用于显著性目标检测的新型堆叠U形结构。U²-Net包括一个6级编码器,一个5级解码器,一个显著性图融合模块附加到解码器级和最后一个编码器。
总体而言,U²-Net设计构建了一个具有丰富多尺度特性和低计算和内存成本的深度架构。此外,由于U²-Net架构仅建立在RSU块上,不使用任何预先训练的骨干网进行图像分类处理,可以灵活、轻松地适应不同的工作环境,性能损失最小。
为了训练U²-Net,研究人员使用最大、最常用的显著目标检测数据集DUTS-TR,水平翻转其图像,共获得21,106张训练图像。采用DUTOMRON、DUTS-TE、HKU-IS、ECSSD、PASCAL-S和SOD等6个显著性目标检测基准公共数据集进行评估。
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
不同blocks、architectures及backbones的消融研究结果。“PLN”、“RES”、“DSE”、“INC”、“PPM”和“RSU”分别表示plain卷积块、residual块、dense块、inception块、 pyramid pooling模块和提出的residual U-block块
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
在模型大小方面,比较本文方法与DUT-OMRON、DUTS-TE、HKU-IS上的20种SOTA方法。红色、绿色和蓝色代表最好、第二和第三好的表现
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画
与ECSSD、PASCAL-S、SOD上20种SOTA方法在模型尺寸上的比较
在实验中,所提出的模型在定性和定量上与20种SOTA SOD方法的性能比较。
读者想实验肖像的应用可以通过下载u2net_portrait.pth:https://drive.google.com/file/d/1IG3HdpcRiDoWNookbncQjeaPN28t90yW/view?usp=sharing并运行APDrawingGAN测试集。你也可以准备自己的图像,大小需要接近或超过512 x512,最好是相对清晰的背景。不过,传统的在画布上油画的肖像似乎不太管用。
U²-Net:使用显著性物体检测来生成真实的铅笔肖像画

英文原文:https://medium.com/syncedreview/sod-it-university-of-albertas-u²-net-builds-salient-object-detection-on-residual-u-blocks-1a03d381d88c


<section data-mpa-template="t" mpa-from-tpl="t" style="white-space: normal;"><section data-mid="" mpa-from-tpl="t" style="display: flex;justify-content: center;align-items: center;"><section data-mid="" mpa-from-tpl="t" style="display: flex;justify-content: flex-start;align-items: center;flex-direction: column;"><section data-mid="" mpa-from-tpl="t" style="margin-bottom: -47.1px;z-index: 1;transform: translateX(-3px);"><section data-mid="" mpa-from-tpl="t" style="padding-top: 1px;padding-left: 1px;border-radius: 3px;background: rgb(255, 255, 255);border-width: 1px;border-style: solid;border-color: rgb(0, 0, 0);display: flex;justify-content: flex-start;align-items: center;flex-direction: column;"><section data-mid="" mpa-from-tpl="t" style="align-self: flex-start;width: 8px;height: 11px;"><img data-ratio="1.375"  data-type="png" data-w="16" style="display: block;" src="https://www.zkxjob.com/wp-content/uploads/2022/08/wxsync-2022-08-623213acdef5080de2556811765d0229.png"  /></section><section data-mid="" mpa-from-tpl="t" style="margin: -0.15px 17px;"><p data-mid="" style="font-size: 16px;font-family: PingFangSC-Semibold, "PingFang SC";font-weight: bold;color: rgb(0, 0, 0);line-height: 22px;letter-spacing: 2px;">技术交流群邀请函<br  /></p></section><section data-mid="" mpa-from-tpl="t" style="align-self: flex-end;width: 8px;height: 11px;"><img data-ratio="1.2222222222222223"  data-type="png" data-w="18" style="display: block;" src="https://www.zkxjob.com/wp-content/uploads/2022/08/wxsync-2022-08-20450e4934cd13fa69a846269442cb0e.png"  /></section></section><section data-mid="" mpa-from-tpl="t" style="margin-top: -2.1px;margin-left: 10px;z-index: 1;align-self: flex-start;width: 8px;height: 7px;"><img data-ratio="1"  data-type="png" data-w="16" style="display: block;" src="https://www.zkxjob.com/wp-content/uploads/2022/08/wxsync-2022-08-e2cca867169e1dd0a8393abb35e294c1.png"  /></section></section><section data-mid="" mpa-from-tpl="t" style="width: 181.667px;"><section data-mid="" mpa-from-tpl="t" style="border-radius: 3px;width: 181.667px;height: 46px;background: rgb(15, 204, 175);border-width: 1px;border-style: solid;border-color: rgb(0, 0, 0);"><br  /></section><section data-mid="" mpa-from-tpl="t" style="margin-top: -1.1px;margin-left: 10px;align-self: flex-start;width: 7px;height: 7px;"><img data-ratio="1"  data-type="png" data-w="14" style="display: block;" src="https://www.zkxjob.com/wp-content/uploads/2022/08/wxsync-2022-08-1bfd81186d706dd23bf703c17cfd37d7.png"  /></section></section></section></section></section><p style="white-space: normal;"><br mpa-from-tpl="t"  /></p><p style="white-space: normal;text-align: center;"><img class="rich_pages" data-croporisrc="https://mmbiz.qpic.cn/mmbiz_png/jXQJ6b7CBHpVx57dRhcgIWxKXdCtajk996zx6f8lQlibZOPyJ75iazaCZPia7IFQ7ufBvHZiclubJicrQicpz13UVVCQ/0?wx_fmt=png" data-cropx1="23.606217616580313" data-cropx2="783.1709844559585" data-cropy1="36.10362694300518" data-cropy2="785.9481865284974" data-ratio="0.9855263157894737" data-s="300,640"  data-type="jpeg" data-w="760" style="height: 176px;width: 179px;" src="https://www.zkxjob.com/wp-content/uploads/2022/08/wxsync-2022-08-898ebb7b23594e2a8c325d100d7a8311.jpeg"  /></p><section style="margin-bottom: 10px;white-space: normal;text-align: center;"><span style="color: rgb(0, 0, 0);font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 14px;letter-spacing: 0.54px;caret-color: rgb(0, 0, 0);">△长按添加小助手</span></section><p style="margin-right: 8px;margin-left: 8px;white-space: normal;text-align: center;"><span style="font-size: 14px;">扫描二维码添加小助手微信(</span><span style="font-size: 14px;color: rgb(171, 25, 66);">ID : HIT_NLP</span><span style="font-size: 14px;">)</span></p><section powered-by="xiumi.us" style="white-space: normal;"><section style="margin-right: 8px;margin-left: 8px;text-align: center;"><span style="font-size: 14px;color: rgb(0, 0, 0);">备注:</span><span style="font-size: 14px;color: rgb(171, 25, 66);">姓名-学校/公司-研究方向-城市</span></section><section style="margin-right: 8px;margin-left: 8px;text-align: center;"><span style="font-size: 14px;color: rgb(171, 25, 66);">(如:小事-浙大-对话系统-北京)</span></section><section style="margin-right: 8px;margin-left: 8px;caret-color: rgb(90, 90, 90);font-family: -apple-system, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-size-adjust: auto;text-align: center;"><span style="font-size: 14px;">即可申请加入<span style="color: rgb(171, 25, 66);">深度学习/机器学习等</span>技术交流群</span></section></section><section style="margin-right: 8px;margin-left: 8px;white-space: normal;text-align: center;"><br  /></section><pre style="letter-spacing: 0.544px;background-color: rgb(255, 255, 255);"><section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;font-size: 16px;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong>完<strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong></span></strong></span></strong></section><pre style="color: rgb(86, 86, 86);font-size: 16px;letter-spacing: 1px;text-align: left;"><pre><section style="letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">思考丨到底什么叫算法工程师的落地能力?<br  /></p><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">我在哥大读博的五年,万字总结<br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">一个算法工程师的日常是怎样的?</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">吴恩达上新:生成对抗网络(GAN)专项课程</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">从SGD到NadaMax,十种优化算法原理及实现</section></section></section></section></section></section></section></section></section>

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享