草榴社区

从医疗诊断到汽车、智能手机、和视频监控…摄像头在我们的日常生活中无处不在。所以说如今的数据中有一半是图像和视频一点都不夸张，而且其中大部分是通过便携式系统在终端生成的。

与云端相比，终端设备的设计挑战仍然很多。比如说，如何尽情用智能手机拍摄精美照片的同时，又不必担心电池电量问题呢？自动驾驶系统如何在无需大规模云数据处理的情况下同时分析来自近10个摄像头的图像呢？

摄像头开发团队常常遇到的痛点包括不断变化的规格、设计和制造之间的差异，以及设计和组装多个组件所带来的复杂性，若想更好地设计出下一代边缘和普适摄像头，则需要更新的工具和技术。数字孪生恰巧就是这样一项技术。

数字孪生是一项关键的使能技术，不仅适用于飞机或复杂的发电厂，还适用于成像系统。数字孪生能够通过仿真优化产物生命周期，从而实现更高的规格（避免过度规格设定）和过程控制预测，并支持更早地介入软件开发。数字孪生还能催生出定制成像系统，例如无需“始终在线”的高效视频监控摄像头。

在本文中，我们将介绍数字孪生如何通过成像仿真助力成像系统实现更好、更精简的规格和虚拟测试。

工作流程和结果

如以下简化示例所述，现在已经可以使用CODE V、LightTools和搁厂辞蹿迟光子器件工具来仿真图像。在该示例中，成像系统包含一个由四个镜片构成的镜头组和一个具有微透镜阵列的1.12微米RGB像素CMOS传感器。

       ▲ 配备四个镜片和CMOS传感器的成像系统示例

1. 使用CODE V根据镜头组光学特性仿真成像结果

第一步是设计镜头组并生成相应的PSF。我们使用CODE V中的图像仿真（IMS）功能来仿真成像结果。开发者可以将任意2D图像导入到该工具中，然后定义FFT网格大小并计算通过镜头后的PSF网格，并可以添加颜色、相对照度参数和图像传感器属性，如像素大小和像素数量。IMS将根据通过CODE V定义和计算的光学参数来计算输入图像的卷积，并输出由此得到的图像。

       ▲ 右侧的输出图像是输入图像与由CODE V计算镜头组光学参数得到的卷积结果

然后，开发者可以在模拟图像上评估图像质量。通过进一步优化镜头组，便可以为目标应用提供所需的图像质量。

2. 使用LightTools和搁厂辞蹿迟光子器件工具仿真杂散光

大多数成像系统都必须经过进一步优化，以避免出现杂散光而影响预期的成像品质。鬼影和眩光是成像系统中的典型杂散光。开发者们可以使用搁厂辞蹿迟光子器件工具和LightTools来预测成像系统简化示例中的鬼影和眩光。由于传感器的衍射和反射特性，开发者需要预测系统中的杂散光。CMOS图像传感器通常是微米大小像素的集合，这些像素会产生强衍射谱，因此必须使用搁厂辞蹿迟光子器件工具来获得该表面的光学特性。

更具体地说，DiffractMOD RCWA是缜密计算横向周期性器件衍射特性的有效工具。它可以输出各个衍射级的反射/透射功率、全反射/透射、各个衍射级的振幅/相位/角度，以及仿真域中的场分布。所有结果都存储在BSDF文件中，并可以导出到LightTools来做进一步的仿真。

第三步是从CODE V导入镜头组几何形状，添加传感器属性，从RSoft导入BSDF文件，添加光源（下图中为太阳光源），并使用LightTools的光线路径工具来运行蒙特卡洛仿真，以分析杂散光所有可能的路径。仿真结果将类似于右侧所示的图像。

       ▲ 左侧是LightTools摄像头模型；右侧是传感器上看到的杂散光图

3. 使用COM API将仿真成像结果与杂散光图相结合

最后一步是使用COM API将来自CODE V的仿真成像结果与使用LightTools和RSoft计算得出的杂散光相结合。在这个卷积中可以调整亮度系数和能量比。

       ▲ 结合来自CODE V的仿真图像与来自LightTools的杂散光图而得到的卷积图像；右侧是仿真成像结果

通过利用仿真图像上的图像质量指标来评估图像，能够进一步优化系统，从而达到适合目标应用的规格。通过CODE V、LightTools和搁厂辞蹿迟光子器件工具对仿真图像进行虚拟测试是一个强大的工作流程，不仅可以避免成像系统超规格，而且还可以通过仿真预测组装和测试阶段来节省时间。