Grafissimo /盖蒂图片社
当你拿出智能手机拍下神奇的日落或爱人的微笑时，你的相机会永远冻结你在某个时刻看到的东西。即使相机镜头可以一键捕捉到强烈的色彩、纹理和显著的细节，但它总是无法达到人眼的卓越处理性能。
人类和动物不仅有看的能力，还有感知的能力。我们的眼睛——或者说视网膜——正在实时处理周围环境的信息，并将信号发送回大脑。通过摄像头，机器人能够像我们一样捕捉周围发生的事件，但它们还没能做到感知就像我们一样，直到现在。ISI最新的研究现在可以在biorxiv上找到，虹膜:图像传感器中的集成视网膜功能，弥补了这一差距，并使视网膜启发的计算机视觉成为切实的现实。
IRIS(图像传感器集成视网膜功能)项目诞生于这样一种猜想，即将类似视网膜的计算嵌入到图像传感相机技术中，可以让机器像人类和动物的眼睛一样看东西。
“事实证明，动物的视网膜是一个高度进化的处理单元，它执行对生存很重要的复杂计算，比如逃离捕食者，”南加州大学维特比分校电子和计算机工程研究助理教授、ISI研究员Akhilesh Jaiswal解释说。bob国际首页登录
例如，人眼可以识别物体何时向我们移动，并迅速触发反应。同样，它可以区分移动背景中的移动对象。IRIS技术通过模仿已知的生物视网膜过程，在机器中推进了基于视觉的决策。
Jaiswal博士认识到该项目的多学科性质，在其概念化后，立即向视网膜神经科学家Gregory Schwartz博士、西北大学Derrick T. Vail眼科教授、眼科副教授寻求帮助，以模拟视网膜下游电路的处理过程，并利用半导体芯片的潜在3D堆叠，为开发新的视网膜传感器开辟了一条道路。这些电路可以形成下一代图像传感器技术，这些技术已经内置到机器或机器人中，它们可以像我们一样根据所看到的东西做出决定。“进化在优化动物眼睛以获得高性能视觉方面做了惊人的工作。西北大学神经科学副教授格雷戈里·施瓦茨(Gregory Schwartz)补充说:“从生物视网膜中汲取灵感，设计新的传感器，有可能引发机器视觉的范式转变。”
使这个项目特别复杂的一个方面是它涉及多个科学领域的重叠。ISI应用专用集成电路实验室主任Ajey Jacob强调了这项研究的跨学科性质。“我们必须建立一个解决方案，以一种连贯的方式将生物状态物理学、生物计算、电气工程和计算机科学算法的理解结合起来。”
因此，ISI的研究团队与众多领域的专家进行了合作。雅各布补充说:“主要的挑战之一是建立一个有凝聚力的团队，团队成员都了解视网膜的生物计算、相应的电路和硬件，以及完成任务所需的适当算法。”
这只是冰山一角——isi的IRIS项目是未来机器和机器人基于视觉决策发展的催化剂。“这为在资源/带宽受限的环境中进行非常规视觉学习铺平了道路，并在我们的社区追求健壮和节能决策方面迈出了强有力的一步，”乔治梅森大学电气和计算机工程助理教授、团队中的仿生算法专家Maryam Parsa解释道。
博士生Zihan Yin和Md Abdullah-al-Kaiser也参与了这个项目。
Jaiswal强调，这些发现的意义是显著的。“我们目前的工作展示了一种可扩展的、商业制造的新型IRIS相机设计途径，它足以作为一个坚实的起点，并在基于视觉的决策应用中有更广泛的应用，包括高速自动驾驶无人机、机器人和自动驾驶汽车。”
IRIS项目的下一步是进一步扩展这项研究，并探索建立一个端到端原型，为机器或机器人分配一个复杂的视觉任务，并使用IRIS摄像机产生的信号完成。这项新技术只是未来机器视觉改进的开始，有可能改变人工智能和机器人领域。
出版于2022年9月29日
最后更新于2022年9月29日
