Light | 全光卷积芯片：实现任意图像卷积

撰稿 | 付伟伟（中国科学技术大学）

导读

数字卷积可提取目标的关键特征，用于人工智能的数据处理和信息识别。但由于电子响应速度低，需要耗费大量的时间和能量。虽然无质量光子可以实现高速、低损耗的模拟卷积，但现有的傅里叶滤波和格林函数等两种全光学方法要么功能有限，要么体积庞大，因此限制其在智能系统中的应用。

近日，针对该问题，由中国科学技术大学研究团队提出一种紧凑的全光卷积芯片，以并行和实时的方式实现任意算子的全光图像卷积计算。

该成果以“Ultracompact meta-imagers for arbitrary all-optical convolution”为题发表在 Light: Science & Applications。

基于多层结构的深度卷积神经网络(CNN)，人工智能最近在学术界和工业界得到快速发展。在每一层中，许多具有特定功能的卷积核被用来提取目标的重要特征，以达到信息识别的目的。但随着人工智能任务量的增多，这些卷积操作的能耗和时耗都显著增加，这限制了智能系统的整体性能。

作为无质量的玻色子，光子能实现并行模拟计算，无需数模转换，且其在大带隙的透明材料中能无损传输，因此光子计算是实现超高速和低能耗卷积的潜在途径。

目前，全光学卷积计算主要有两种方法：傅里叶空间滤波和格林函数。

傅里叶方法采用一对透镜对原始数据进行空域和频域变换，通过传统的纯相位或纯振幅型掩模对原始数据进行频谱滤波，再通过反变换以重构处理后的数据。这种滤波系统具有多个元件，且体积庞大，不适用于集成光子运算。同时，实现任意的卷积运算，需要具有振幅和相位调制的复振幅滤波器，其是大多数传统光学元件所无法实现的。

格林函数方法通过调制器件（表面等离子体激元、人工纳米谐振器、光子晶体、超表面、拓扑光子和光的自旋霍尔效应等）的透射率（或反射率）来实现光学模拟计算。虽然格林函数法能实现高集成，但其角度响应有限，只能实现某种特殊卷积操作，故其不满足人工智能和图像处理中实现任意卷积的需求。

由于这两种全光卷积途径存在集成度低或功能有限等缺点，学术界目前只能采用光电混合的方式来加速神经网络的卷积计算，其与电子计算相比，在速度上有显著提高。然而，这种光电系统中的电子元件最终仍制约着系统的运算速度。因此，研究实现任意操作的全光图像卷积芯片是学术和工业界亟需解决的问题。

研究亮点

基于上述需求，本文提出紧凑型的光学图像处理系统，其包含两部分：用于成像的超构透镜和用于修正其点扩散函数（PSF）的复振幅调制器，这两部分可集成到单个器件中。光的波动理论指出，透镜系统的成像是一个物体的光场和透镜的点扩展函数间的卷积运算（图1a）。PSF作为一个卷积核，成像系统为实现并行、模拟和低消耗的卷积操作提供一个天然的解决途径。但，成像系统中的点扩展函数通常具有固定的形态，如艾里斑，不支持任意卷积操作。

图1 (a)透镜成像原理；(b)实现任意运算的全光卷积芯片（Meta-imager）工作原理。

为解决该问题，中国科大研究团队提出一个基于超表面的全光图像卷积芯片（MI），它由一个超构透镜和一个复振幅调制器（图1b）组成，其中复振幅调制器用于修正成像的PSF。该全光卷积芯片的点扩展函数PSFₘₑₜₐ是由超构透镜的点扩散函数PSF与算子H之间的卷积，其中，该算子H（即一个3×3矩阵，在人工智能和图像处理中经常用到）是复振幅调制器的傅里叶变换。因此，一个物体U₀经该全光卷积芯片后，其处理结果是U=U₀⊗PSFmeta= U₀⊗PSF⊗H= U'⊗H，其中U'是物体经过超构透镜的成像结果。因此，该全光卷积芯片的输出结果是超透镜成像结果U'与算子H之间的卷积。故，通过调制复振幅调制器（即改变算子H），可实现物体的任意卷积操作。

本文成功地演示多种卷积操作，如空间微分、去噪、边缘检测和边缘增强， 实现对光学图像（相位型和振幅型）和生物样本（如染色体分子、洋葱细胞和口腔表皮细胞）不同的放大倍数和空间分辨率的处理操作。

图2分别展示的对振幅和相位物体边缘检测的结果。振幅物体边缘被清晰检测出来，其边缘精度由系统的数值孔径和算子的单元尺寸决定；相位物体的边缘得到增强，随着相位梯度降低，边缘与背景的对比度会降低。通过对染色体分子进行边缘检测，模拟（图2(f)）和实验(图2(g)）对比发现染色体分子的边缘被很好的勾勒出来。

图2  (a)振幅物体和(b-c)位相物体以及(d-g)DNA分子的边缘检测。

其次，该团队展示了实现微分和去噪算子的全光卷积芯片，并将其用于滤除洋葱表皮细胞中的定向缺陷和口腔上皮细胞中的随机缺陷。

如图3(a-c)所示，处理后的图像具有无缺陷的洋葱表皮细胞的长轴边缘， 同时消除几乎平行于微分方向的洋葱表皮细胞的短轴边缘；带有随机噪点的口腔上皮细胞经去噪型全光卷积芯片进行图像处理后，尽管存在背景，但缺陷内的强度均匀性得到改善，如图3(d-f)。

图3  (a-c)滤除洋葱表皮细胞中的定向缺陷和(d-f)匀化口腔上皮细胞的随机噪点。

为体现该全光卷积芯片在集成度上的优势，文中将超构透镜和复振幅调制器融合成一个单片全光卷积芯片(图4.(a))，其能同时实现成像和复振幅调制的功能。利用该单片全光卷积芯片，实现二元振幅型物体“U”的边缘检测，实验(图4.(c))和模拟(图4.(d))显示的边缘图像，清晰且一致性良好。不过，该单片全光卷积芯片的输出视场减小，适于处理小尺寸图像的卷积。

图4  单超表面型全光卷积。

本文报告一种高集成度的图像处理系统，以实现具有任意运算核的全光卷积运算。通过复振幅调制器修改点扩展函数，其与物体间的卷积可简化为光学成像过程，即，卷积结果是在成像平面上的能量分布。

研究团队成功演示了人工智能和图像处理中常用的卷积运算，并揭示其在光学和生物图像处理领域的应用价值。该全光卷积芯片的工作模式与卷积神经网络具有很好的兼容性，为研制全光卷积神经网络奠定技术基础。目前，基于该全光卷积芯片，该研究团队正在开展全光卷积神经网络的相关研究，其终极目标是实现超高速、低能耗的实时人工智能系统。

论文信息

Fu, W., Zhao, D., Li, Z. et al. Ultracompact meta-imagers for arbitrary all-optical convolution. Light Sci Appl 11, 62 (2022). 

https://doi.org/10.1038/s41377-022-00752-5

本文第一作者为中国科学技术大学博士生付伟伟、博士生赵东、博士生李子勤，通讯作者为中国科学技术大学黄坤教授以及田超教授。该项目得到国家自然科学基金委、中国科学院以及中国科学技术大学微纳研究与制造中心的资助。

欢迎课题组投稿——新闻稿

文章转载/商务合作/课题组投稿，微信：447882024

带您每天读1篇文献！加入>Light读书会