在 OpenCV 空间人工智能竞赛 中,50 个团队正在使用 OpenCV AI Kit 的人工智能能力,构建基于乐高的工业制造解决方案。随着团队为 4 月 1 日的构建截止日期而努力完成他们的项目,竞赛正在如火如荼地进行着。在这篇文章中,我们将介绍社交媒体上的一些最新亮点,并了解一些参赛团队:B-AROL-O 团队和 WahWahTron 团队。让我们开始吧!
#OAKDLiteContest 标签亮点
- Getafe Poka-Yokers 团队 将其提升了一个档次,并在其项目的 乐高套件组装上运行了 MediaPipe 手部检测
- B-AROL-O 团队 一直为他们的项目“ARNEIS:自动识别器、网络启用、物品分类器”记录详细的每周笔记 - 阅读他们网站上的最新更新
- EyeCan 展示了其 ScaNERF 项目的初步结果,使用乐高创建神经孪生体
- Evtek 正在研究使用传送带进行可回收材料分类和分拣,看起来进展顺利
- 请关注 Sourdoughers 团队 的 面包机器人,它将使用 YOLOv5 监控酸面包的发酵过程,使其变得美味 [编辑注:Phil 喜欢面包]
今天(2/17/22)的 OpenCV 每周网络研讨会 特色是 LA Inoculum 团队,他们带来了结合了乐高、OAK-D-LITE 和细菌科学的培养皿扫描仪项目。在 LinkedIn 直播、Twitter、Twitch 和 YouTube 上观看该集。
团队简介:WahWahTron 团队
你们的项目是什么?简要描述一下你们的问题陈述和提出的解决方案
我们团队的项目试图解决电子部件回收问题。
每年都会推出全新的电子产品,比如最新的智能手机、笔记本电脑等。
由于计划报废,电子垃圾的数量不断增加,而讽刺的是,用于制造这些设备的金属和矿物质的供应却在不断减少。
秉承乐高无限次重复使用和组合的精神,WahWahTron 团队将通过游戏的方式突出这一重要的环境问题。
现有的部件回收解决方案,最著名的就是苹果的 Daisy,但它只针对特定品牌。我们的项目研究了如何使用小型、经济实惠且可扩展的组件(如 OAK-D-Lite)构建一个通用的电子部件回收系统,以便在现实世界中进行集成。拟议的解决方案包括构建一个系统,尝试拆解乐高组件(模拟废弃的电子产品),并将每个可回收的组件放置到相应的分类容器中以供重复使用。OAK-D-Lite 的快速推理将用于对乐高部件进行分类,深度信息将用于在 3D 空间中定位部件。
带有电机抓手的起重机臂和拆卸机构将使用乐高 Mindstorms 机器人发明家套件的 MVP 组件制造。(部件的 3D 位置将从摄像头的坐标系转换为全局坐标系,以驱动臂的末端执行器。)
你们的团队起源故事是什么?你们是如何走到一起的?
我和杰西卡相遇在最令人难以置信的环境中:在贝尔格莱德的艺术家机器学习研讨会上。我们立刻开始合作项目。其中一个项目是为布加勒斯特的木偶剧院创作的。最初的想法是使用 Kinect 实时跟踪木偶,让学习操纵木偶的孩子们能够进行既有实体又有数字效果的表演。内置的 Kinect 骨骼跟踪在如此小的范围内不起作用:事实证明,现有的模型从未训练过小于 1.2 米的任何东西。当时,OpenPose 刚刚发布:我设法从源代码编译并运行在当前的 GPU 上,但无法挤出超过 12fps。
时间紧迫,我们测试了各种计算机视觉选项(跟踪 LED、跟踪彩色带等)并放弃,最终找到了一个既快又精确的解决方案:使用惯性测量单元 (IMU) 跟踪关节方向:这解决了遮挡问题,比如一个角色用手臂抱着另一个角色。杰姆斯·麦克维是一位才华横溢且富有创造力的电子工程师,他加入了我们的团队,帮助我从简单的两个关节 POC 演变到我们所追求的完整的 10 个关节系统。
你们是如何决定要解决什么问题的?
我们正在集思广益,杰西卡的建议将这些片段如此完美地联系在一起。考虑到我们所处的环境状况,这个概念很棒,即使是在玩具规模上
构建可以扩展的原型仍然很有价值,并揭示了在此过程中解决问题/创新的挑战/机会。从概念上讲,设计一个能够拆解另一个系统的系统很有趣。在实践中,当我们开发项目并重新熟悉乐高(几十年后,我承认这很难 🙂 )时,我们也发现了伺服精度、扭矩和塑料强度方面的一些物理限制。总的来说,用最少的资源做尽可能多的事情,这对环境来说是一个好主意,但这同样适用于比赛。
对你们来说,#OAKDLiteContest 最令人兴奋的部分是什么?
作为成年人,玩乐高确实很有趣,但最令人兴奋的部分
是看看我们能用 OAK-D-Lite 设备实现什么。
由于它是开源的,因此这是一个很好的机会,可以让我们在更低级别上了解立体视觉,利用它获取深度信息,并尝试一些可用的最先进的模型。
说到机器学习,这也是一个了解完整机器学习管道的机会,从数据集创建一直到优化和部署到边缘设备。
当你们得知自己被选为决赛选手时,有什么想法或感受?
很幸运被选为决赛选手!
我们可以再次像孩子一样玩乐高,并利用 OAK-D-Lite 背后的严肃工程技术将它更进一步。要做的乐趣太多了!
到目前为止,你们是否在其他项目中看到了什么令你们感到惊讶的事情?
简单地浏览一下 #OAKDLiteContest,很高兴看到创造力和趣味性闪耀。
我已经看到几个项目,让我有了“要是我早点想到就好了”的那种积极的动力。
你们对其他参赛选手有什么想说的吗?
我们祝愿其他参赛选手一切顺利,并继续努力!只剩下几周了!
我期待看到最终的结果,以及没有被采纳的想法和过程。
读者应该在哪里关注你们,以便更好地了解你们的进展?(Twitter、LinkedIn 等)
我们一直对我们的更新非常保密:希望我们很快就能改进这一点。
与此同时,对于任何对计算机的创意使用感兴趣的人,你们可以在这里关注我们
- https://twitter.com/innjesst
- https://www.instagram.com/shedrawswithcode/
- https://www.instagram.com/jhm.nz/
- https://www.youtube.com/c/JamesMcVayNZ/videos
- https://twitter.com/orgicus
- https://www.linkedin.com/in/georgeprofenza/
团队简介:B-AROL-O 团队
你们的项目是什么?简要描述一下你们的问题陈述和提出的解决方案
在工业生产线上,物品(根据我们的专业知识,是瓶子)遵循预定义的流程,其中每种类型的物体都有从生产线开始到包装结束的特定路径。
想象一个生产线,在最终包装中需要混合不同的物品。想象一下,对于每个通过网络下订单的最终客户,这种混合都是不同的。
ARNEIS(简称自动识别器、网络启用、物品分类器)是我们为上述问题提出的解决方案。
我们设想,这些物品来自不同的生产线,在最终的传送带上混合在一起,ARNEIS 系统可以识别所需的物品,并将它们分类到正确的包装中。
当然,鉴于我们在 BOM 和时间上的限制,无法在 OpenCV 空间人工智能竞赛 的范围内完全解决上述问题;但是,我们相信识别和分类的基本功能可以通过简单的嵌入式电子元件、塑料积木和开源代码进行测试。
ARNEIS 系统的主要组件如下
眼睛和思想:该项目的一个关键组件是视觉系统和分析图像以匹配已知模式的智能。
摄像头可以安装在物品在运输过程中经过的传送带附近。摄像头图像必须由专用的 CPU 进行分析。从集成的角度来看,工业项目的最佳解决方案是将该 CPU 集成到摄像头外壳内。
手臂:有几种从运行的传送带上分类物品的解决方案;每种解决方案都针对不同的非功能需求进行了优化,例如灵活性、速度和成本。
最简单的解决方案是使用一个执行器(意大利语为“espulsore”),它可以根据来自PLC的指令,同步地将物品弹出到新的传送带上或外部传送带上。
指令应同步,并考虑在相机捕捉到帧到执行弹出期间物品在传送带上移动的距离。这是我们在OpenCV空间人工智能竞赛第二阶段一直在开发的解决方案。
你们的团队起源故事是什么?你们是如何走到一起的?
B-AROL-O Bottling Systems团队的名字来源于几个事实
- 首先,所有团队成员都在一家意大利领先的食品和饮料行业包装机械专业公司全职工作;
- 我们都位于皮埃蒙特,它是意大利最重要的地区之一,以其葡萄园、葡萄酒和烈酒而闻名;
- “巴罗洛”是一种优质红葡萄酒,由生长在皮埃蒙特一个小区域的葡萄酿造而成,离我们家乡很近,但闻名遐迩,其瓶装酒销往世界各地。
总之,我们选择了一个标志性的葡萄酒名称,它体现了我们的意大利起源,同时也体现了我们在包装行业的经验。顺便说一下,“阿内斯”(白葡萄酒)和“巴罗洛”(红葡萄酒)看起来像阴阳,它给了我们燃烧在比赛上的能量!
你们是如何决定要解决什么问题的?
老实说,我们没有花太多时间来选择问题,这也是因为我们是在第一阶段截止日期前几天才了解到OpenCV空间人工智能竞赛的。相反,我们选择了一些我们日常工作中熟悉的东西,试图使项目符合材料和项目时间表的限制。
对你们来说,#OAKDLiteContest 最令人兴奋的部分是什么?
我们将列出以下内容
- 技术:OAK-D-Lite 是一款很棒的硬件;此外,AI 和 CV 是我们将在本项目中学习的令人兴奋的话题
- 围绕 OpenCV 的社区以及 Luxonis 和所有相关方的强大支持
- 玩乐高积木 - 这里 Gianpaolo 会补充道:没有从我孩子那里偷 🙂
当你们得知自己被选为决赛选手时,有什么想法或感受?
两种相反的感觉:快乐和恐惧。
最初我们无法相信我们成功了,因为我们在准备第一阶段提交时时间很短。
为什么快乐?这个消息真的很令人兴奋,我们从未相信我们能收到乐高积木作为圣诞礼物 🙂
此外,在众多竞争者中脱颖而出,这意味着我们的想法吸引了 OpenCV 社区中的一些经验丰富的人——这对我们来说已经是一个很大的成就。
为什么恐惧?我们希望按照ARNEIS 项目计划交付,但我们知道我们还有很多工作要做,而且我们只有三个人,只有很少的空闲时间。然而,我们相信社区会帮助我们实现目标。顺便说一下,ARNEIS 从一开始就是一个开源项目,因此每个人都可以从我们创造的东西中获益。
到目前为止,你们是否在其他项目中看到了什么令你们感到惊讶的事情?
当我们向第一阶段提交我们的提案时,幸运的是,我们没有过多地研究在之前几届 OpenCV 竞赛中开发的项目,否则我们会感到羞愧,并且不会提交它 😉
自从我们被选中继续参加第二阶段以来,我们一直在观看视频和阅读博客文章以学习,我们发现那里有很多价值和能力,这对我们来说是一个激励,让我们尽力做到最好。
你们对其他参赛选手有什么想说的吗?
不要害怕,我们只是在互相学习的动力和与乐高和 OpenCV 玩得开心的动力下玩耍。
我们祝愿你们有和我们一样多的乐趣!
读者应该在哪里关注你们,以便更好地了解你们的进展?(Twitter、LinkedIn 等)
我们建议您关注https://twitter.com/baroloteam,我们会在那里定期发布关于 ARNEIS 项目的新闻和每周更新。
如果您对项目的软件方面更感兴趣,您可以订阅https://github.com/B-AROL-O/ARNEIS或查看ARNEIS 项目路线图.
如果您——正如我们希望的那样——有任何建议或反馈要给我们,请在 Twitter 上私信 @baroloteam,或提交问题或Pull Requests 在 GitHub 上。
目前就到这里了!
感谢您阅读我们这一系列亮点和团队简介中的第一篇。随着我们继续进行构建阶段,您将了解到更多关于我们竞赛中的团队的信息。如果您想比其他人更早地看到最新消息,请订阅OpenCV 新闻通讯,并在Twitter和LinkedIn上关注#OAKDLiteContest标签。下次见!