レンズチーフ光線角の定義と恐ろしいCRAのミスマッチ
Lens Chief Ray Angle Mismatch, CMOS Sensor Architecture, and the Impact on Image Quality
2024年10月18日更新
レンズの主光線角(CRA)とセンサーの主光線角は、色シェーディングや周辺光量落ちなどの画質要因に影響します。
CRAの不一致による影響の大きさは、Difference of Squaresを使用して概算することができます。これはセンサーのピクセルアーキテクチャーに依存しますが、第一次経験則としては良いものです。
以下は、問題のあるCRAの不一致と、当社のCIL340 M12レンズの適切な不一致を比較した例です。
イメージセンサーの主光線角とは？
まず、最新のCMOS（Complementary-Metal-Oxide-Semiconductor）ピクセルのアーキテクチャから説明しましょう。
この簡略化されたマーケティング図面では、ピクセルのさまざまなコンポーネントを見ることができます。
UofRで昔学んだダイオードの入門書は、Szeand Lee "Semiconductor Devices, 3rd ed."です。
レンズの主光線角とは？
物体空間からレンズを覗いた場合、主光線は入射瞳で光軸を横切る光線である。
Hecht'sOptics Fifth Editionの185ページに、一般的な3要素の光学結像系に関する素晴らしい一次光学図と説明がある：
チーフ光線は、物体空間のすべての照明点に存在します。
チーフ光線の角度について議論されるとき、彼らは通常、レンズの組み合わせの最も広い視野に対応する「最大CRA」を参照しています。
レンズのチーフ光線とセンサーのチーフ光線を正確に比較するには、画像の使用可能な領域全体のCRAを考慮する必要があります。
CRAのミスマッチは物理的にどのように見えるのか、なぜCRAのミスマッチはCRA角度が高いほど重要なのか？
携帯電話メーカーにシステムレベルの画質を提供するため、センサーメーカーはセンサー上のマイクロレンズの空間設計を調整し、レンズのCRAを補正しています。このマイクロレンズの調整は、一般的に大量生産（>10Mpcs/yr）企業のみが利用可能であるため、それ以外の人は、適切なセンサーバリエーションとマッチングレンズを選択するために最善を尽くす必要があります。
CRAの不一致による色の濃淡の補正
CRA mismatch CAN be corrected for in post process, but ONLY in applications with well controlled static illumination such as industrial machine vision for inspection.
When the light sources change, it becomes challenging to compensate. This is due the friendly topic of metamerism. We've seen a major CRA mismatch (20° non-linear mismatch) overcome before in a regular indoor environment, so it is doable to a "good enough" extent. This requires advanced ISP tuning with a calculated pixel-level spectral energy distribution 3DMLUT approach. This in turn will slow down other performance metrics in your camera and/or require more compute, so generally not the best practice to get into this sitatuon.
Additionally, there are only a handful of leading image quality experts with the requisite knowhow and experience to get to a "good enough" quality with a >15° nonlinear mismatch with a sensor at 33°. I estimate <50 people in the world and it is near impossible to hire them as they are in high demand at big tech companies. So unless you are fortunate enough to be on a team with one of these experts, we highly advise against venturing down the rabbit hole of thinking you can solve >15° nonlinear CRA mismatch in software: your project will likely have a 6-12 month delay and budget overrun.
Regardless of the approach and expertise there will be more color tuning corner cases that occur with huge CRA mismatch, than when you have a well-matched lens to sensor CRA.
The Take-Away: We suggest Low Linear CRA (~<20°) Lenses/Sensors when Possible.
Otherwise Match the Lens Chief Ray Angle As Closely to the sensor as possible
We generally recommend matching CRA within +/-10° if the sensor's CRA is <10°, +/-7° if the sensor's CRA is >10° and <20°, and within +/-4° if the sensor's CRA is >20°.
However, it really depends on the pixel architecture and your application.
Jon Stern from GoPro's optics team provided his opinion publicly during a talk at the Embedded Vision Summit in 2020: View Slide 22 Here.
This mismatch tolerance must hold across the entire field of view, so make sure to compare a full plot if the sensor's specification sheet says "non-linear" on it.
Incorrect CRA matching can result in radial red to green color shading from the center of an image to the corner.
This shading is dependent upon illumination conditions, so it makes Image Quality Tuning extremely difficult.
This is a common issue when trying to build a camera using a "Mobile" Sensor with an "Industrial" Lens or vis-versa. We've seen multiple startup projects run into this issue, resulting in extensive cost (>$100k) and schedule (>1yr) overruns.