尹志
(2024-01-31 10:39):
#paper doi: https://doi.org/10.48550/arXiv.2304.02643 Segment Anything。Meta在2023年的一篇工作,提出了一个CV领域的基础模型。文章的目标很清楚,通过prompt的方式,实现通用的segmentatoin任务。虽然在互联网上爆炒一轮后趋于平淡,但是对CV社区的影响还是非常大的。后续的Grounding-DINO,Grounded-SAM等工作,都有着不错的效果,而且对后续CV任务的解决给出了一套不同的思考范式。整个工作偏工程,或者想法上原创性的亮点不多,网络结构上也充分借鉴了大量基于Transformer的创新工作。值得一提的正是工程上的思路或者说解决方案。meta提出了一个新颖的任务,即:如何通过一个通用的任务来解决图像分割。进而设计训练流程和对应的损失。在过程中,设计了一套有效的数据标注引擎,实现了高效标注数据生产,这对于行业应用有着很强的借鉴价值。
从研究角度来看,如何充分利用预训练好的sam模型,大模型中的先验如何提取,从而为特定领域下游任务提供支持是一个重要的研究方向。
arXiv,
2023.
DOI: 10.48550/arXiv.2304.02643
Segment Anything
翻译
Abstract:
We introduce the Segment Anything (SA) project: a new task, model, anddataset for image segmentation. Using our efficient model in a data collectionloop, we built the largest segmentation dataset to date (by far), with over 1billion masks on 11M licensed and privacy respecting images. The model isdesigned and trained to be promptable, so it can transfer zero-shot to newimage distributions and tasks. We evaluate its capabilities on numerous tasksand find that its zero-shot performance is impressive -- often competitive withor even superior to prior fully supervised results. We are releasing theSegment Anything Model (SAM) and corresponding dataset (SA-1B) of 1B masks and11M images at https://segment-anything.com to foster research into foundationmodels for computer vision.
翻译
Related Links: