王子川，张 伟，郭 飞，贾志强，王立强 ，董文飞,4，杨 青
（1. 浙江大学 光电科学与工程学院, 浙江 杭州 310027；
2. 之江实验室类人感知研究中心, 浙江 杭州 311100；
3. 长春理工大学 机电工程学院, 吉林 长春 130022；
4. 中国科学院苏州生物医学工程技术研究所, 江苏 苏州 215163）
近年来，随着光电技术、信息处理等技术的发展，成像技术的需求越来越大，光学成像技术在生物医学成像[1]、遥感成像[2]、工业成像[3]、天文成像[4]等领域的运用日益广泛。由于衍射带宽和光电探测器带宽的存在，光学成像技术的视场与分辨率总是相互制约的，通常只在单一尺度下进行成像[5-6]。
然而，对于许多具有跨尺度特征的成像目标，目标在多尺度下的变化以及单一尺度下的变化都需要进行观测。为了解决这一问题，跨尺度光学与光子学成像技术逐步发展起来并发挥出越来越重要的作用。
在内窥镜领域中，跨尺度光学成像一般是指能够在一套光学系统实现对观察部位的宏观成像与微观成像，例如对肠道进行140°大视场观察后使用同一系统进行显微观察；
或在食管中通过对显微视场下的图像进行跨尺度拼接得到宏观图像。为了实现跨尺度成像，一种方式是基于传统的物像共轭成像方式进行变焦光学系统设计，通过对光学系统进行变焦，使得光学系统在不同状态下获得不同的视场和分辨率，从而实现对目标的跨尺度成像；
另一种方式则是得益于信息处理技术、微纳加工技术、人工智能技术以及高速计算能力的飞速发展而诞生的计算成像技术，在光学内窥镜领域中的主要运用是各类光纤探针。与传统的物像共轭成像技术相比，计算成像技术对于成像过程的分析角度不同，以信息的获取与解译为核心，颠覆了传统物像共轭设计理念。例如，在传输介质层面，对传输介质进行计算，综合考虑散射光对目标信息获取和采集的作用，通过对相位、振幅和偏振进行联合解算，得到更多维度的信息并为后续成像处理提供更多信息量；
在光学系统设计层面，仿生光学技术[7-8]等突破了传统物像共轭光学系统设计理念，解决了视场与分辨率相互制约的问题，通过将前端光学系统与后端图像处理技术结合进行全局一体化设计，降低了对成像光学系统的要求，同时解决了光学系统体积、重量等制约光电设备发展的因素；
在信息处理层面，将成像目标的特征纳入考虑范围，并引入其他有价值的先验信息，而不是仅仅依靠图像自身的信息量，借助图像处理技术还原得到高对比度的清晰图像，用于图像的跨尺度拼接等方面。目前在跨尺度内窥成像方面，常用的图像处理技术有图像拼接[9-10]、图像融合[11-13]等。如今，基于计算成像技术发展而来的各类光纤探针在内窥镜领域的运用已成为国内外内窥成像领域学者们研究的热点，在内窥镜跨尺度成像中发挥了重大作用。
本文对目前的跨尺度光学成像技术在内窥镜领域的运用进行了综述，描述了它们的系统结构与成像特点，并对其进行总结与展望。
对于采用传统物像共轭成像方式的光学系统而言，若要实现跨尺度成像，需要该光学系统能够实现变焦，能够对不同的视场以不同的分辨率成像，从而获取具有跨尺度特征的图像。对光学变焦系统而言，假设光学系统有两组元，其光焦度分别为φ1和 φ2，其系统的光焦度变化规律可表示为：
式中d为两组元间隔。若想要改变整体光学系统的焦距，则至少需要改变组元的焦距或者透镜组元之间的间距中的一项。对变焦光学系统而言，早期的变焦光学系统设计中受限于透镜元件的制造方式，只能通过改变透镜间距来实现变焦。近年来，随着透镜材料的开发以及透镜加工能力的提升，焦距可调的新型透镜如液体透镜[14]、固体可调透镜[15]以及液晶透镜[16]等开始在变焦光学系统设计中得到广泛应用。对内窥镜而言，光学变焦内窥镜具有很高的优势，一旦医生发现感兴趣的区域，它能够方便地从宽视场切换到近视场，实现跨尺度高分辨率成像。这极大地减少了手术过程中手术范围的移动，从而减少了手术的复杂性和创伤的风险。更重要的是，光学变焦内窥镜还能使医生在保持高图像质量的同时观察放大后的图像以便进一步检查。这与标准的电子或数字放大内窥镜不同，后者只是将图像质量/分辨率降低的图像放大。高倍率的光学变焦内窥镜也能使一些异常组织的特异性表征足够准确，进行活检，以节省成本和提高效率。如图1(a)所示，基于变透镜组间距的变焦原理，王立强等[17]以光学补偿方式设计了一款跨尺度超高倍率球面内镜系统，通过钢丝牵引变焦透镜组实现系统变焦，对0～100 mm景深范围内的染色病理组织进行高分辨率成像。在较远距离观察，如20 mm常规放大时做到了140°广角大视场，可观察病理切片到组织层次；
同时0 mm显微观察时配合27 inch (1 inch=0.025 4 m)显示器实现了500倍放大，物方分辨率达到181 lp/mm，观察到如图1(d)所示病理组织切片的细胞核。这款内镜实现了几十毫米视场的广角观察连续过渡，因此可以对细胞尺度进行显微的跨尺度成像，这种内镜也被称作细胞内镜。目前市场上较成熟的细胞内镜产品只有日本奥林巴斯公司推出，奥林巴斯的细胞内镜自第三代[18]开始具备连续变焦功能，其效果如图2(a)～2(b)所示,第三代细胞内镜可实现常规成像以及最高380×放大，可观察到染色细胞核。其变焦过程示意图如图2(c)所示，通过机构移动系统中的变焦透镜组G2来实现对不同物距下的跨尺度成像。现在奥林巴斯细胞内镜已推出第四代[19]，同样具备跨尺度成像功能，同时该系统能配合26 inch显示器可实现500倍放大，但显微视场缩小至570 μm ×500 μm。其他内窥镜厂家也基于移动变焦镜组的方式提出了一些跨尺度变焦内镜，例如日本富士能的专利[20]中的实施例通过移动变焦镜组的方式可实现从物距18.95 mm (140.4°视场角)到物距1.93 mm (58.2°视场角)的观察，相对远距离成像图像放大倍率提高了144倍；
日本Pentax的专利[21]中的实施例通过移动变焦镜组的方式可实现远距离观察(170°视场角)到近距离观察(80°视场角)的切换，相对远距离成像，图像放大了29倍。
图1 大视场变焦内窥物镜的设计。（a）透镜结构示意图；
（b）变焦内窥镜外观；
（c）内窥镜直径；
（d）高倍视图[17]Fig. 1 Design of zoom endoscopic objective lens with large field. (a) Schematic of lens; (b) view of zoom endoscope; (c) diameter of endoscope; (d) highmagnification view[17]
图2 变焦内窥物镜。（a）常规观察视图；
（b）高倍放大；
（c）变焦过程[18]Fig. 2 Zoom endoscopic objective lens. (a) Conventional endoscopic view; (b) high-magnification; (c) zoom process[18]
另一方面，也有研究团队使用新型透镜来实现内窥镜的跨尺度变焦成像功能，如图3所示，Zou[22]等人利用焦距可调的具有自由曲面的Alvarez透镜开发了一款适用于内窥镜的变焦透镜，实现了光学系统的3×变焦，视场范围由50°缩小为18°，Alvarez透镜整个变焦过程中由压电装置推动在垂直于轴方向上的移动距离不超过110 μm。如图4所示，郭鑫等[23]使用一种单液体电控型液体透镜技术设计了一款胶囊内窥镜，视场角达到110°，实现对景深范围内3～100 mm的成像。这种液体透镜的变焦由电压驱动使得液滴的表面曲率发生变化，实现透镜变焦。由于液滴体积一定，在施加电压时，液滴的曲率与孔径均会发生变化，且曲率越大、孔径越大、厚度越小。因此，在进行设计前，必须对液体透镜本身建立准确的数学模型，才能够在光学设计软件中准确模拟液体透镜系统。与传统球面透镜系统相比，采用Alvarez这类变焦距透镜有利于实现系统的小型化、紧凑化，但生产难度相对于球面透镜系统高出较多。得益于新型透镜的出现和制造工艺的提升，基于物像共轭原理的跨尺度变焦光学系统也得到了新的发展。受限于加工难度和成本等方面因素，液体透镜等新型透镜在跨尺度内窥镜中的运用大多还停留在研究阶段，没有进入到临床设备中。目前成熟的跨尺度内窥镜产品中透镜类型还是以球
图3 YZ视角下内窥镜的3种变焦配置[22]Fig. 3 Three zoom configurations of the endoscope optics under YZ view[22]
图4 透镜结构示意图。（a）可调液体透镜；
（b）胶囊内窥镜[23]Fig. 4 Schematic of lens. (a) Tunable liquid lens; (b) capsule endoscope optical system[23]
面透镜以及非球面透镜等传统透镜为主。与传统透镜相比，诸如仿人眼的液体透镜等新型透镜具有体积更小、变焦快、不需要移动透镜组的机械结构等优点，是跨尺度内窥镜进一步小型化的重要发展方向之一。若能将这些新型透镜运用于基于物像共轭成像关系的跨尺度内窥成像光学系统中，伴随着小型化带来的体积小、重量轻等优点，在临床运用中更适合医生进行内窥手术。
以像差为驱动的传统光学系统往往受限于视场和分辨率相互制约的矛盾，为了得到更远的探测距离、更大的视场或者更高的分辨能力，往往会采用增加透镜数量、系统焦距或者增大系统相对孔径等方式。然而这些方式常常只能解决某一方面问题，并会引入其他问题。以信息传递为核心的计算光学成像系统则利用信息的获取、传递及解译来描述光场，从根本上改变以物像共轭为核心的传统光学成像单一依靠有序信息传递的方式，增加了信息获取模式，更充分地利用信息通道获取信息量，从而突破传统光学成像的瓶颈[24]。其中在内窥镜领域中，运用最广泛的计算成像光学系统就是各类光纤探针。在光纤成像中波前校正[25-26]以及基于像差和散射校正的无透镜成像技术[27-28]是将光信息恢复成图像的常见方式。另一方面，图像拼接、图像融合等图像处理技术也为非变焦光学系统在跨尺度内窥成像中运用提供了条件，通过对多个光学系统捕获的图像进行拼接与融合，亦可实现跨尺度成像。目前，在跨尺度成像技术中，常用于内窥镜的跨尺度成像技术主要通过将传统光学成像系统或计算成像光学系统结合图像拼接[29]与图像融合[30-32]等图像处理技术，实现内窥镜系统的跨尺度成像。
时至今日，随着光学成像技术的发展，激光共聚焦显微成像技术[33]、荧光成像技术[34]、光学相干断层成像技术[35]等在生物医学成像领域得到了广泛运用。
3.1 光纤扫描成像系统
在内窥镜临床运用中，光纤扫描成像系统的跨尺度成像通常是通过将光纤探针的扫描运动与相对于扫描平面垂轴方向的探针的机械运动相结合，在扫描平面上，探针通常能获得μm级大小的图像，通过图形拼接等图像处理算法可以获得这个扫描平面的视图，再结合探针cm级的机械运动，通过图像算法复原出内窥镜所观察到的cm级通道的跨尺度立体图像，并且能够选择其中需要观察的部位进行微观观察。光纤扫描成像系统使用的光纤扫描成像技术是指通过控制光纤及其出射的光束偏折，使光纤按照预定的轨迹移动，在扫描的同时收集杂散光成像的技术。控制光纤的方式通过压电材料[36-37]、微机电[38]或电热[39]等物理致动效应结合控制信号来完成的。单根光纤成像所得到的图像分辨率高，但是视场范围极小，这些高分辨率的显微图像通过使用光纤成像束和微透镜在组织之间传递光来获得，这使得一个紧凑的光纤探针设计不需要复杂的机械部件，在实际使用中通常通过对按照扫描轨迹移动光纤得到的多幅图像进行图像拼接来得到高分辨大视场图像。
目前光纤扫描成像技术已经用于光学相干层析、共聚焦显微、自发荧光等内窥成像系统中。根据扫描方式的不同，光纤扫描方式可分为螺旋扫描[40]、Lissajous扫描[37]以及光栅扫描[41]等。由于实现快速光栅扫描需要很高的驱动电压，安全性较差，在临床设备中不宜使用，所以目前在内窥镜领域的扫描系统基本是基于螺旋扫描或Lissajous扫描的。螺旋扫描的运动是通过沿两个方向具有相同频率的振幅渐增的具有90°相位差的偏移量驱动得到。这种扫描模式是用共振光纤扫描仪获得的[42]。这些扫描器被渐增的驱动振幅信号激活，直到达到最大半径，然后经过回归时间重置光纤到它的静止位置，随后开始下一次成像周期。如图5(a)所示，螺旋扫描的缺陷在于图像越靠近中心的部位光强越高，照明密度不均匀。Lissajous的扫描运动是两个正交简谐振动的合运动,其扫描轨迹形状由两个简谐振动的初相位、振幅和频率共同决定[43]。如图5(b)所示，相对于螺旋扫描模式，Lissajous扫描具有更好的照明均匀性，但其填充率，即扫描填充面积与扫描区域的比值，高度依赖于用于驱动的信号频率比。
图5 扫描模式示意图。（a）螺旋扫描示意图[44]；
（b）Lissajous扫描示意图[37]Fig. 5 Schematic of scanning patterns. (a) Schematic of spiral scanning[44]; (b) schematic of Lissajous scanning[37]
Tsai等[45]研发了一种用于人体胃肠道超高速OCT(Optical Coherence Tomography)扫描内窥镜，如图6所示。可见，激光输出的一部分耦合到马赫-曾德尔干涉仪(Mach Zehnder Interferometer，MZI)上，以校准垂直腔面发射激光器(Vertical Cavity Surface-Emitting Laser，VCSEL)的扫 频。MZI被设置为6.6 mm路径差，条纹由一个1 GHz的双平衡光学时钟发生器以恒定频率间隔对A/D信号进行处理。OCT系统有一个带有两个光循环器和一个50/50光纤分配器的迈克耳孙干涉仪。迈克耳孙干涉仪的样品臂包括一个病人接口单元(Patient Interface Unit，PIU)。它可以使导管的远端以最高2.8 mm/s的拉回速度平移。PIU连接到成像导管的近端，通过控制导管内的扭转装置产生垂直于回拉方向的位移，使光纤能够进行螺旋扫描。Tsai等将所研发的内窥镜用于拍摄正常食管，每次成像前获取MZI的校准轨迹用于校准所有OCT数据，每次MZI扫描1 000个A/D(Analog to Digital)采样点，通过快速傅立叶变换插值后进行逆傅立叶变化，然后通过希尔伯特变换提取插值MZI轨迹的相位信息。对OCT干涉信号进行相同处理后，利用MZI的相位校准信息进行重采样得到OCT轴向扫描信号，并通过计算轴向扫描信号大小的对数计算出OCT图像。探针每进行一次采样可以获得12 μm半径光斑照射区域的OCT微观图像，通过密集高频采样获取大量的OCT微观图像，然后对所有微观图像进行图像拼接得到扫描平面对应的食管带深度信息的跨尺度OCT图像，再结合垂直扫描方向的回拉运动进行图像拼接得到整个扫描长度的跨尺度宏观管状3D容积图。实验中对应扫描组织的体积为10 mm×16 mm×2.4 mm(旋转×回拉×深度)，在旋转×拉回×深度的各个方向，像素间距分别为6.7 μm×5 μm×4.8 μm，轴向分辨率达到8 μm。如图7(a)(彩图见期刊电子版)所示为在组织深度240 μm处的enfaceOCT图像，对应240 μm深度时平行于食管表面的图像，右上角插图为在内镜OCT成像之前获得的白光内镜下宏观图像，对应图7(a)的食管实际位置。图7(b)(彩图见期刊电子版)显示了图7(a)中绿色（水平）虚线所示位置沿回拉方向的截面图像，能够看到整个回拉长度上正常食管典型的明确的分层结构。图7(c)(彩图见期刊电子版)所示为图7(a)中蓝色（垂直）虚线所示位置沿旋转方向的截面图像，图7(c)为规则的分层结构。在高频率拍摄速率下得到的图7具有极高的像素密度，轴向分辨率为11 μm，横向分辨率为11 μm，可用于全面OCT和横切面成像，以及OCT血管成像(OCT Angiography，OCTA)，可实现亚表层微血管的三维可视化。Zhang等[46]通过OCT信号和马赫曾德尔干涉仪信号的双通道采集方式克服了固有的光时钟限制，达到了2.4 MHz和3.0 MHz的轴向扫描速率，并将Tsai等[45]所研发OCT探针运用于超高速扫描源光相干层析成像研究，进一步展示了其在胃肠道OCT成像中的前景。此外，Zhang等还采用系线胶囊OCT内镜和宽视场OCTA探针在猪的胃肠道中进行试验，验证了该超高速扫描源光学相干层析成像技术的实用性。
图6 OCT内窥系统。（a）微机成像导管示意图；
（b）使用扫频激光源和微机成像导管的内窥镜OCT成像系统示意图[45]Fig. 6 Endoscopic OCT imaging system. (a) Schematic of the micromotor imaging catheter; (b) schematic of endoscopic OCT imaging system using a swept source laser and micromotor imaging catheter[45]
图7 正常食管OCT。（a）240 μm组织深度的en face OCT图像；
（b）沿回拉方向的横切面图像；
（c）旋转方向横切面图像[45]Fig. 7 OCT of the normal esophagus.(a) En face OCT image at 240 μm depth. The inset shows an endoscopic view of the esophagus obtained prior to endoscopic OCT imaging; (b) cross-sectional image along the pullback direction; (c) cross-sectional image along the rotary direction[45]
相对于较低扫描频率的OCT系统，MHz级别的超高速OCT扫描内窥镜系统依靠超高的采样密度，在对微观OCT图像进行跨尺度图像拼接和重建食管3D容积图时具有比较低扫描频率的OCT系统更高的图像精度，是OCT探针在跨尺度内窥镜中的一个重要发展方向。Antonio等[47]研发了一种系线电机驱动内窥胶囊用于食道OCT成像，如图8所示。这款系线胶囊在设计上与传统设计不同，没有将微电机和光纤探针呈面对面放置，而是将微型电机与Grin透镜并排固定在胶囊的远端帽上。OCT光经过两次偏转，从而使光束转像，最终落在安装于电机轴的反射镜上，通过这种设计，避免电机线穿过光路，避免OCT图像中出现阴影效应。在通过调制驱动所用两相四极同步电机的电流信号，该胶囊在无障碍周视扫描的基础上，进一步地实现两种先进的工作模式：精确定位模式和局部定位扫描模式。精确定位模式通过控制驱动电流的信号使电机的旋转器保持在一个特定角度；
局部定位扫描模式则是在精确定位模式的基础上，使其在定位的特定角度的一定范围内进行扫描。Antonio等将胶囊连接到一个使用1.5 MHz频域锁模激光器的OCT成像系统，对猪食管进行成像实验，得到了如图9所示图像。在实验过程中为了获得体积数据集，以15 mm/s的速度将胶囊从食管下部拉到上部。该实验中在可扫描深度范围内光纤探针的光斑大小
图8 系线胶囊示意图和照片[47]Fig. 8 Schematic of the tethered capsule and photo of the capsule
图9 食管OCT图像。（a）猪食道代表性横切面图（剪去内壁）；
（b）沿4.5 cm拉回距离进行3D重建；
（c）（b）中虚线框的放大区域。比例尺为1 mm[47]Fig. 9 OCT imageof esophagus. (a) Representative crosssectional image of swine esophagus (inner wall of the tube is cropped out); (b) 3D reconstruction along a 4.5 cm pull-back distance; (c) zoomed-in area of the dotted box in (b). Scale bar is 1 mm[47]
介于34～39 μm之间，通过转动获得需要进行图像拼接的OCT微观图像，结合回拉运动进行图形拼接得到的横断面OCT图像9(a)可以看到整个食管的管腔，无任何阴影伪影，证明胶囊可以提供通畅的OCT成像。对经过拉伸得到的图像数据进行3D重建也显示了4.5 cm长度的食管的跨尺度立体图像(图9(b))，没有任何阴影伪影。放大的区域可识别食管的层状结构，即上皮(E)、固有层(LP)、粘膜肌层(SM)、粘膜下层(MM)和固有肌层(MP)，如图9(c)所示。
用于跨尺度内窥成像的OCT探针在临床上已经取得了一些运用，由于OCT探针对组织的微观结构观察接近组织学水平，常用于组织进行原位跨尺度观察。但是目前临床上OCT探针对于胃肠部位还难以实现较好的成像，主要运用场景在于Barrett食管、胆总管和胰管肿瘤的鉴别和诊断。受限于组织结构特征，目前针对下消化道的OCT成像技术还处于研究阶段，若能取得突破，高分辨的OCT探针将在辅助早癌诊断、在体原位检测等方面发挥出其巨大的潜力。
3.2 多通道内窥镜系统
多通道内窥镜系统是指具备多个不同光学成像通道的内窥镜系统。在实际医疗手术中，除了通过扫描这种方式获取需要的医学跨尺度影像外，医生常常也需要使用内窥镜在手术过程中对人体内部某一部位进行跨尺度观察以及手术操作，这个时候为了获取更精确的图像信息，具备多个成像通道的内窥镜系统被医生广泛使用，例如在内窥镜手术中使用大视场内窥镜观察，在大视场内窥镜引导下查找病变处并使用小视场内窥探针等光学成像系统获取更小尺度的医学图像帮助医生进行诊断和术中操作。
Yuki等[48]将探针式共聚焦激光显微内窥镜(Probe-based Confocal Laser Endomicroscopy，pCLE)与口腔胆管镜(Peroral Cholangioscopy，POCS)结合，评估了在胆管镜直视下引导探针式共聚焦显微内镜在胆道狭窄诊断中的运用。在体内实验过程中，除胆道过于狭窄探针无法进入以外，操作医师一共对30例病患进行内镜逆行胰胆管造影，在造影后使用胆管内镜进行胆管观察。波士顿科学公司的POCS能够提供120°广角视场的彩色图像，利用POCS可以将共聚焦微型探针精确地引导到医生关注的位置。整个检查过程中，医生首先使用胆管镜进行检查，在大视场内窥图像中找到病灶位置。进行胆管镜检查后，在胆管镜直视引导下，直径为0.94 mm、视场大小为325 μm、横向分辨率为3.5 μm的共聚焦激光显微内窥探针通过胆管镜的工作通道轻触胆管狭窄处并以12 frame/s的速率成像和记录。在胆管镜直视下共聚焦激光显微内窥探针完成共聚焦成像后，使用器械在胆管镜直视下对胆管狭窄处进行活检取样。在实验过程中，两名经验丰富的内镜医师对记录在每种成像模式下的病情做假定诊断。其中一个病例在实验过程中所得图像如图10(彩图见期刊电子版)所示，在图10(a)和10(b)中，共聚焦探针通过胆管镜通道伸出，在引导下对胆管成像，得到了胆管的跨尺度图像。图10(c)为白光胆管镜下的图像，图10(d)为pCLE所拍摄图像。
图10 自身免疫性胆管炎。（a）胆管造影显示胆道狭窄（粉红色箭头）；
（b）POCS下的pCLE执行；
（c）胆管镜显示微红色乳头状颗粒状表面；
（d）pCLE显示Paris分类增厚网状结构[48]Fig. 10 Autoimmune cholangitis. (a) Cholangiography shows the biliary stricture (pink arrow); (b) pCLE under the direct view of POCS was performed; (c)cholangioscopy shows a reddish papillogranular surface; (d) pCLE shows a thickened reticular structure in the Paris classification[48]
图中观察到增厚的网状结构。将假定诊断与病理诊断结果进行对比，30例病例中PCOS下的pCLE的诊断时特异性达到92.3%，准确度达到93.33%；
另一方面，PCOS下直视的特异性为76.9%，准确率为90%；
PCOS下组织活检的特异性为100%，准确率为90%水平接近。Yuki团队证明使用能够实现POCS直视下的pCLE可以为胆道狭窄提供了高度准确和敏感的表征，并显示出更高的诊断可靠性和减少诊断延误的潜力。目前共聚焦显微内窥镜已经初步实现了实时组织病理成像与特异性功能成像。若结合造影技术，将对病灶的探测能力提高至分子水平，在早期癌症检测上具有良好的运用前景。
Julia等[49]探索了将小型荧光内窥镜与普通商用内窥镜结合，用于获取在动物实验中的图像数据，在组织水平上实现腹部的多色成像。实验中，Julia等以被标记绿色荧光蛋白的小鼠为对象，采用一个30°视场角的白光商用内窥镜引导荧光内镜活检，在对腹腔进行初步检查后，在距离普通商用内镜约1 mm处的位置放置荧光内镜的光纤束，这允许通过商用普通内窥镜直接可视化地精确引导荧光内窥镜，实验过程如图11(a)和11(b)所示。由于采用光纤成像的方式，其成像效果会受到离焦光线的影响而模糊。为了得到更好的图像恢复效果，Julia等使用经过常规显微镜数据训练的神经网络对图像进行改善。将一些共聚焦图像作为训练用的标准图像，通过对标准图像添加模糊、噪声、强度降低等信号产生训练图像。训练过程中，20%的输入图像作为检验数据，并采用计算绝对平均误差的方式测量训练数据与验证数据的网络性能。最后将该网络用于拍摄的荧光图像改善，在大视场白光内镜的宏观引导下，荧光内镜到达蓝光区域进行微观观察，对器官进行荧光素染色后，对图11中蓝光照射部位的成像结果如图12所示，能够清楚地分辨出不同细胞。Julia等搭建的荧光内镜和普通荧光内镜的区别在于其有4个荧光成像通道，可使用不同的染料，通过选择适当的LED激发，在相同的成像过程中能激发许多荧光团，而荧光成像视场约为1 mm，分辨率足以分辨出单个细胞。这种跨尺度内窥镜在临床上可以在对疾病的特征特异性物质进行荧光标记后，进行即时诊断，进行体内活检。
图11 内窥镜系统。（a）手术过程照：1. 商用内窥镜；
2. 具有用于光纤束的套管针的微操作器；
3. 吹气管。（b）在活体成像过程中，通过商业内窥镜进行内窥镜观察：1. 用于光纤束和蓝色照明光纤的套管针；
2. 肠套；
3. 胰腺；
4. 肝脏[49]Fig. 11 Endoscope system. (a) Photograph of the surgical procedure: 1. commercial endoscope; 2. micromanipulator with the trocar for the fiber bundle; 3. insufflation-pipe. (b) Endoscopic view through the commercial endoscope during the imaging procedure in vivo: 1. trocar for the fiber-optic with fiber bundle and blue illumination; 2. intestinal loop;3. pancreas; 4. liver[49]
图12 荧光图像效果图[49]Fig. 12 Image of a fluorescence channel[49]
目前共聚焦成像已经在临床中得到实际运用，Igor等[50]将普通支气管镜与MKT公司的1.4 mm的pCLE探针结合用于观察COVID-19确诊阳性患者的肺组织，在进行支气管镜检查中，双侧见适量液性粘液出血性分泌物，左3段支气管闭塞有血块，其他支气管管腔正常。清除血块后，没有发现支气管病变，随后在支气管镜引导下对左肺叶的所有亚段进行观察，得到如图13(彩图见期刊电子版)所示的pCLE图像。图像显示肺泡的变化，随着密度的增加，肺泡结构缺失，弹性纤维增厚，肺泡内分泌物大量出现。
图13 左上叶肺组织的pCLE图像。肺泡内纤维厚度（黄线），弹性结构密度增加（白箭头），直至肺泡结构消失（黄箭头），肺泡内分泌物大滴（*）[50]Fig. 13 pCLE images of lung tissue of the left upper lobe.Intra alveolar fiber thickness (yellow line), increased density of elastic structures (white arrow),up to disappearance of alveolar structures (yellow arrow), and large drops of intra alveolar secretions(*)[50]
在多通道内窥成像实现跨尺度成像这一方面，也有研究团队采用双模式切换的方式来实现这一功能。张朋涛等[51]设计了一种双模切换显微内窥镜成像系统，该系统将荧光素钠作为荧光分子探针；
荧光激发光源选用高亮度的蓝色LED，通过切换内窥成像探针，获取两种尺度下的图像：宽场白光内窥成像模式下进行手术导航，利用荧光分子成像进行病变肿瘤边界识别；
显微内窥成像模式下，进行在体显微病理分析，确定肿瘤良恶性及其种类。
这种双模切换显微内窥镜光学系统结构如图14(彩图见期刊电子版)所示，当系统连接宽场成像光纤内窥镜(Surgery fiber)时，如果白光LED(W-LED)点亮，此时系统为白光宽场内窥成像模式，白光通过照明光纤照亮样品，成像光被物镜收集后经透镜组聚焦在CCD靶面上成像，在白光照明下进行实时手术导航；
如果蓝光LED(B-LED)点亮，488 nm的LED光能量经过激发片滤光，通过耦合透镜耦合进入光纤，传输到待成像组织，激发静脉注射作为荧光分子探针的荧光素钠，发出的荧光经过同光路返回，经过物镜、成像透镜组、发射片组成的光学系统后，在EMCCD(Electron-Multiplying CCD)形成荧光成像，通过肿瘤组织对荧光分子探针的特异性富集作用来分辨肿瘤边界；
当将系统切换为显微成像光纤时，采用相同的荧光激发成像过程，通过显微内窥探头，观察到细胞的形态信息，即获得在体组织的病理学图像，实现在体组织病理学检查，显微模式下系统的成像分辨率达到4.4 μm。张朋涛等[51]用该系统对人体组织活检获得的结直肠黏膜进行实验，管状腺瘤性息肉在双模切换显微内窥镜下的实验效果图如图15(彩图见期刊电子版)所示，可以看出，图15(a)显微放大后的细胞形态与图15(b)显微镜下病理切片的形态一致，表明了该系统可用于在体实时病理学诊断。受限于内窥镜的应用场景，如何在临床运用中实现良好的切换是此类模式切换式内窥镜需要解决的关键问题，目前尚未有单通道模式切换型内窥镜产品出现，若能实际运用于临床手术中，对于实现跨尺度内窥镜系统的手术导航将有重要的应用价值。
图14 双模切换显微内窥镜系统原理图[51]Fig. 14 Optical path of dual-mode switching endomicroscopic image system[51]
图15 管状腺瘤性息肉。（a）普通电子内窥镜下成像与显微模式荧光成像；
（b）病理切片成像[51]Fig. 15 Tubula radenomatous polyp. (a) Ordinary eletronic endoscopic image and microscopic fluorecent image; (b) pathologic slice image[51]
3.3 图像融合内窥成像系统
在内窥镜的发展过程中，出于医师们的临床需求，内窥镜领域的研究人员对内窥镜来自不同成像通道的图像进行图像融合开展了广泛研究，用于补充单通道成像系统无法获得的图像信息，例如将荧光图像与可见光图像相融合，使医生能在高分辨率的白光图像上更清晰地区分出病患肿瘤分界线[12]；
或者将白光图像与近红外图像融合实时获得组织的特征信息[52]；
又或者使用图像融合来提高图像的质量[53]；
将光成像与其他成像方式结合来获取医生需要的图像信息[54]。在内窥镜的跨尺度光学成像中，图像融合技术的运用也取得了不少成果。
Andreas等[55]将荧光成像技术结合到OCT系线内窥胶囊上，开发出了一款可同时实现荧光(Fluorescence，FL)成像与OCT成像的系线内窥胶囊(Tethered Capsule Endomicroscopy，TCE)，其系统结构示意图如图16所示。双模态OCT-FL胶囊内镜成像系统由两个直接接口的子单元(OCT成像系统和FL成像系统)和一个可连接的成像探针(OCT-FL TCE器件)组成，能够同时实现两种模态的微观结构成像。其中OCT成像系统的分辨率达到5.5 μm。OCT技术作为一种强大的显微、结构成像技术，能够获取胃肠道等部位的形态学图像结构及特征，但仅通过形态学方法不能完全捕捉胃肠道所有可用的诊断特征，例如分子受体等特征信息。另一方面，荧光成像技术通过分子探针可与特定分子进行结合的特点，在激发光照射下获取生物体内特异性分子的分布情况，再结合荧光成像技术进行多模态诊断可将分子信息置于微观结构背景下，更好地辅助诊断。Andreas等将所研发的OCT-FL系线胶囊内镜在活体猪食道内进行成像测试，获得了如图17(彩图见期刊电子版)所示的图像。实时图像预览以伪彩色显示FL数据(从低到高：黑、蓝、青色、绿、黄、白)。在实验过程中采用的荧光染料为亚甲基蓝。通过手动拉伸胶囊内镜，利用定制软件对图像数据处理后，得到猪食管的OCT容积图像；
荧光图像信息则经过软件处理显示于相应3D图像外环。能够在获取OCT形态学信息的同时得到荧光分子的成像信息。这一研究成果为利用两种成像技术的互补性诊断提供了新思路，结合最近引进和新开发的靶向分子药物，可能显著提高对一系列胃肠道疾病的诊断能力。
图16 OCT-FL成像系统示意图[55]Fig. 16 Schematic diagram of OCT-FL TCE imaging system[55]
图17 活体猪食管代表性图像的OCT-FL数据显示。在同一横截面扫描的极坐标表示（a）和笛卡尔表示（b），分别描述2D灰度OCT和1D假色FL数据。（c）沿食管轴向延伸的横截面的OCT图的3D表示（反转灰度：从低到高对应从黑到白）。（d）沿食道轴向延伸的FL表面图的3D表示。比例尺：1 mm。[55]Fig. 17 OCT-FL data display of representative images from swine esophagus, in vivo. (a) Polar and (b)cartesian representation of the same crosssectional scan, depicting 2D grayscale OCT and 1D false color FL data. (c) 3D representation of the crosssectional OCT map along the axial extension of the esophagus (inverted grayscale: low-to-high as black-to-white). (d) 3D representation of the FL surface map along the axial extension of the esophagus. Scale bars: 1 mm.[55]
高分辨率的pCLE和OCT可将细胞尺度的组织细节可视化，是实现光学活检的一个发展方向，可作为传统活检和组织病理学的实时替代方法。但是采用pCLE在胃肠道中进行诊断，受限于视场大小，通常需要进行扫描，将对多幅图像进行拼接，这一过程中实现探针的平滑可控移动以及保证控制精度非常重要。特别是对于需要直接与组织接触的pCLE，既要确保图像质量，又要限制扫描过程中发生的组织变形量。因此，手工控制下的图像拼接极具挑战性[56]。而OCT技术是一种不需要接触组织的横断面技术，它能用来确定探针尖端与组织之间的距离。基于这一思想，Zhang等[57]将手术机器人，pCLE与OCT技术相结合，研发了一种自主扫描显微内窥系统，不仅使用pCLE图像(横向到组织表面的方向)，还使用OCT图像(轴向的方向)，以直观地指导扫描运动。采用这种方法，能够确保机器人在pCLE探针和组织之间保持最佳的接触力，协助平滑运动(避免粘滑)，并帮助形成连续的图像，其系统结构和工作框架如图18所示。
图18 自主光学活检探针扫描和多尺度融合的实验装置[57]Fig. 18 Experimental setup for autonomous optical biopsy probe scanning and multiscale fusion[57]
图18中，在整个系统上配置了一款立体腹腔镜，pCLE探针与OCT探针均配置于达芬奇手术机器人上，由达芬奇的患者端机械臂（Patient-side Manipulator，PSM）控制。由30 000芯成像光纤和一个微透镜组成的pCLE探针可提供240 μm的视场和大约为2.4 μm的光纤采样分辨率；
OCT探针视场大小约为1 mm。通过频域低相干干涉测量技术进行轴向扫描，产生二维图像。在整个成像过程中，3D腹腔镜可提供大视场的3D图像信息，通过立体匹配方法进行组织表面3D重建；
pCLE探针得到的图像信息被成对输入并通过归一化互相关用于与3D腹腔镜图像配准，并采用枯叶模式进行组合。同时OCT图像根据当前探针的位姿信息映射到3D体上并提供被扫描组织的3D信息。pCLE图像、OCT容积图像与重建表面通过图像融合的方式，同时提供扫描区域的宏观与微观视野。机器人在预定义的区域轨迹上使用探针扫描，生成图像，扫描轨迹同时映射在图像的坐标系统中。视觉控制组件通过闭环检测比较当前和期望的探头姿态，驱动机器人使检测误差最小化。该系统拍摄的效果如图19(彩图见期刊电子版)所示。从图中可以看到该系统跨尺度融合的效果。由此得到的显微高分辨率组织图可以与腹腔镜图像提供的宏观立体重建结果进行实时融合，为外科医生提供一个操作现场的跨尺度3D视图。这种增强的可视化为术中组织表征和手术计划提供便利，且提高了手术的精度。
图19 跨尺度融合案例。（a）宏观立体重建；
（b）将拼接后的图像叠加在立体图像上，与微观尺度图像建立联系；
（c）自主光学活检探针扫描和多尺度融合的实现步骤[57]Fig. 19 An example of trans-scale fusion. (a) A macroscale stereo reconstruction; (b) to link with the microscale, by adding the mosaic image to the stereo reconstruction; (c) implementation steps involved for autonomous optical biopsy probe scanning and multiscale fusion[57]
跨尺度光学内窥成像技术所面临的挑战来自于生物体内复杂的成像环境和临床实际需求，通过探索光学成像的新机制与方法、光学标记技术，发展面向生物医学共性问题的跨尺度成像技术、面向手术临床应用的光学成像器件及相关机械仪器、融合日益强大的计算机技术与光学成像技术，都将进一步推动跨尺度光学成像在内窥镜领域的发展。目前还有许多跨尺度光学内窥成像技术还停留在研究阶段或者运用场景还比较受限，例如采用了液体透镜这类新型透镜的跨尺度变焦光学系统因加工工艺还未实现产业化；
再如目前下消化道成像还有诸多问题需要解决的跨尺度OCT扫描内窥探针系统。随着在生物医学等基础学科的深入研究、计算机科学与先进制造与加工工业的发展的影响，这些还处于研究阶段的跨尺度光学内窥成像技术逐步成熟，以及现有跨尺度光学成像技术的进一步发展，内窥镜跨尺度光学成像技术必然会有变革性的发展与更广阔的运用前景。