OpenCV 很高兴地介绍我们银牌会员计划的参与者 - SuperAnnotate!作为我们合作的一部分,他们正在为计算机视觉社区发布免费的标注工具,并解释为什么这款产品值得关注。
关于作者:
Vahan Petrosyan 是 SuperAnnotate 的联合创始人兼首席技术官。在加入 SuperAnnotate 之前,Vahan 曾在瑞典皇家理工学院攻读图像分割博士学位。他在学习期间开发的算法成为 SuperAnnotate 平台的基础。他对这项技术在各种计算机视觉应用中的不断增长的需求最终促使他放弃博士学位,创办了公司。
在这篇文章中,我将介绍 SuperAnnotate 的新的免费桌面应用程序,讨论我们构建它的原因,并分享更多关于我们认为将显着提高标注项目速度、准确性和效率的许多功能的信息。免费的图像标注工具和商业图像标注工具之间存在巨大的功能差距。SuperAnnotate 桌面版通过提供最快的全方位软件工具来弥合这一差距,帮助计算机视觉工程师完成他们的标注任务。
免费图像标注工具的世界
我不会写一篇关于免费图像标注工具的宇宙的长篇介绍,而是简要概括许多涵盖该主题的精彩文章、博客和网站。也许讨论免费工具最具信息量的网站是 Awesome Open Source,该网站根据每个工具获得的 GitHub 星标数量对开源工具进行排名。图像标注工具的列表可以 在这里找到。根据该列表,显而易见的是,CVAT(由英特尔管理)和 VOTT(由微软管理)是最受欢迎的免费图像标注工具。还有一些其他有趣的文章将 CVAT 和 VOTT 列为最好的免费标注工具。以下是一些示例: Bohemian.ai, Sicara.ai, 维基百科。
这些文章是非常好的资源,我强烈建议您阅读它们,了解可用的不同工具,如果您有时间,甚至尝试其中的一些工具。但是,您很快就会意识到,免费工具在许多方面都存在不足,导致速度缓慢、项目管理混乱以及整体用户体验不直观——尤其是考虑到我们今天对软件的期望。
介绍 SuperAnnotate 桌面版
SuperAnnotate 的创始团队(我的兄弟和我)分别是生物医学成像和计算机视觉的博士生。在我们的博士学习过程中,我们花了很多时间处理图像,特别是标注。2018 年,免费标注工具与今天一样令人难以置信地不方便,使用它们非常痛苦。它们不仅极其缓慢且笨拙,而且缺乏许多关键的标注功能。这些痛苦促使我们推出 SuperAnnotate。
自成立 SuperAnnotate 以来,我们一直专注于发布速度快、易于使用且功能强大的软件,适用于所有类型的计算机视觉任务。在过去两年里,我们努力构建我们认为是最快、最高效的计算机视觉管道标注平台。而且,由于我们来自学术界,我们还想让任何人都可以轻松安装和免费使用我们平台的一个版本,以帮助消除我和我兄弟作为博士生时遇到的许多痛苦。
早在 6 月份,我们就宣布与 OpenCV 合作,为更广泛的计算机视觉社区带来免费的标注工具,它比目前可用的免费工具有了显著的改进。
几天前,我们发布了面向 Mac、Windows 和 Linux 用户的软件。尽管这是初始版本,但该软件已经提供了多种高级功能,可以将您的标注流程速度提高 3-5 倍。您可以 在这里 下载它。
我们将每月更新我们的桌面应用程序,并且非常乐意收到社区对您喜欢的功能以及缺失的功能的反馈。我们很高兴成为 OpenCV 社区的一部分,并帮助为其成员提供最好的计算机视觉工具。
您应该使用 SuperAnnotate 桌面版的八个理由
在本节中,我将更深入地探讨使我们的应用程序与一些最流行的替代方案相比独一无二的功能。正如我上面提到的,我们平台的付费版本专注于提供闪电般的速度、强大的工作流程和愉快的用户体验。我们尝试将这种关注(以及一些功能)带入我们的桌面应用程序中。以下是一些亮点:
注意:我强烈建议观看下面的视频,其中总结了所有这些组件。
1. 诞生于 SuperAnnotate 的核心平台
在过去两年里,我们投入了数十万个工程师工时和数百万美元用于 SuperAnnotate 的核心 Web 版本,构建了我们认为最快的、最高效的计算机视觉标注平台。它还包含了在我们的平台 Web 版本中工作了数十万小时的标注者的反馈。这使我们能够提供包含核心产品功能中的一些设计、特性和改进的桌面编辑器。我们希望结果是一款 100% 免费的产品,它具有愉悦、功能丰富且专业级的品质。
2. 高级多边形工具
多边形标注通常是最耗时的标注任务。任何使用过免费标注工具的人都知道这种体验有多糟糕。为了使手动创建和编辑多边形更快,我们在传统多边形工具中添加了一些内容。其中一些功能包括:
- 笔式多边形工具 — 使用多边形作为笔,使弯曲的标注更快
- 添加/删除点— 添加 和 删除 多边形点只需点击几下
- 编辑多边形—使用我们的笔式多边形工具,显着提高编辑多边形的速度
- 共享多边形边界s—与传统工具相比,绘制具有共享边界的边界速度提高 2 倍
- 移动/分组/删除多边形— 选择、拖动、放置或删除单个或多个多边形,无论您想要放置在哪里
这些只是我们能够将多边形标注时间减少 20-60% 并使多边形标注精度显着提高的一些功能。
3. 过滤
大多数标注工具缺乏过滤图像的功能。然而,我们发现类过滤对加快标注审查流程具有重大影响。通过 SuperAnnotate 的过滤菜单,用户可以仅显示他们感兴趣的特定类别的图像,从而避免了需要浏览所有图像,节省了大量时间。
4. 在帧之间跟踪多个对象
在连续帧之间跟踪多个对象可以显着改善标注体验,同时还可以加快标注速度。我们的桌面应用程序允许用户选择多个对象并执行移动、删除、分组、复制、粘贴和复制等操作。用户可以在连续帧中复制和复制标注,同时保留相同的属性 ID,以便可以轻松地在多个帧中跟踪特定属性。
5. 庞大的快捷键列表
游戏玩家和 Excel、Photoshop 等工具的高级用户都知道,庞大的快捷键列表如何既能改善用户体验又能提高速度。这就是为什么我们为工具选择、屏幕导航、复制/粘贴/分组/取消分组对象、帧切换等操作创建了大量的快捷键。所有快捷键都位于键盘左侧(类似于游戏),因此您的右手可以专注于鼠标,而您的左手无需移动即可找到合适的快捷键。
6. 标注灵活性
当前的平台(无论是免费的还是付费的)都将您限制为一种标注工作流程:您设置属性,然后绘制形状。通常,绘制形状或在实例之间复制类别等不同的工作流程效率会更高。使用 SuperAnnotate,我们允许各种标注工作流程,为用户提供了他们所需的最大效率。
7. 类别/属性/点标签
在 SuperAnnotate 桌面应用程序中,创建、添加或删除类别和属性非常简单。用户可以轻松地从之前的项目导入类别,从而节省了定义项目所需的时间。此外,我们允许用户使用纯文本对单个点进行标注。这可以有多种用途,例如,用一句话描述对象,为对象添加标签或描述多边形中的特定点(例如,后右轮)。
8. 提升您的标注
随着您的标注需求增加,您可能会发现自己需要寻找诸如增加自动化、ML 功能、更强大的项目管理、详细的质量保证、团队协作和用户角色等内容。您可能还会发现自己需要外包标注团队。在 SuperAnnotate,我们可以通过我们的核心平台满足所有这些需求以及更多需求。我们的核心平台利用 ML 和基于工作流程的功能来帮助计算机视觉团队将标注速度提高高达 10 倍,同时显着提高训练数据的质量,并提高管理标注项目的效率。我们还在平台上集成了服务,使客户能够访问数千名专业管理的外包标注者,他们配备了我们闪电般的快速工具。如果您有兴趣了解更多关于我们的核心平台和服务的信息,请填写 此表格。
从其他平台或开源工具导入标注
从其他软件迁移到 SuperAnnotate 对我们的客户来说非常重要。这是我们用户经常提出的要求,因为他们中的许多人希望使用我们的平台来对他们之前的工作进行质量检查,并从其他工具迁移过来。我们已经通过使用几行代码(我在下面描述了)来轻松地从其他标注工具导入标注数据,使迁移变得非常容易。然后,在我们的平台中,用户可以利用上面描述的功能,例如过滤和高级多边形编辑,轻松地对之前的标注工作进行质量保证并检查预测的准确性。
为了了解迁移之前的标注有多么容易,我已包含了所需的所有代码。 (请注意,您可以不仅从其他开源工具,还可以从其他付费平台传输您的标注。)对于转换,您可以使用我们的 SDK,我们在其中提供所有转换脚本,以使转换过程变得容易。下面是来自 Labelbox 的示例,但它可以应用于其他平台,例如 Amazon SageMaker、Google Cloud AutoML、Scale AI、VOTT 等。
首先,安装 SDK 和补充存储库
pip install superannotate
pip install 'git+https://github.com/cocodataset/panopticapi.git'
pip install 'git+https://github.com/philferriere/cocoapi.git#egg=pycocotools
&subdirectory=PythonAPI'
然后,使用以下脚本将您的数据转换为 SuperAnnotate 格式
import superannotate as sa
sa.import_annotation_format(<input_dir>, <output_dir>, "LabelBox", <dataset_name>)
收到以 SuperAnnotate 格式转换后的 json 文件后,您只需在我们的编辑器中上传标注即可。
如果您对我们的高级功能感兴趣,您可以在我们的 基于 Web 的 平台上导入图像并清理标注,然后使用迁移学习自动标注下一组图像。请参考 这篇文章 并了解如何在不编写任何代码的情况下执行此操作。
SuperAnnotate Desktop 的未来
SuperAnnotate Desktop 的目标是为学术研究人员或独立标注者提供快速直观的工具,并在标注过程中节省宝贵的时间。未来,我们将每月更新软件,并提供解决社区最重要痛点的功能。因此,我们鼓励社区更加积极地提出问题,并在我们的 GitHub 页面上公开这些问题。