中國半導體照明網：本文提出了一種具有分布式布拉格反射器 (DBR) 結構的 Micro-LED 背光模塊，以實現出色的 Micro-LED 背光模塊性質，并使用深度強化學習 (DRL) 架構進行光學設計。在DRL架構中，針對微觀和宏觀兩種極端結構的計算環境問題，本篇提出了環境控制代理和虛擬現實工作流程來保證設計環境參數與實驗結果高度相關。本文通過上述方法成功設計了具有DBR結構的Micro-LED背光模塊。采用DBR結構的Micro-LED背光模塊相比沒有DBR的Micro-LED背光模塊，均勻度性能提升32%，DRL方法所需的設計計算時間僅為傳統光學仿真的17.9%。
隨著近幾十年半導體制程技術的發展，具有優良直接能隙特性的三五族化合物半導體已廣泛應用于大功率電子、照明、顯示技術等各個領域。發光二極管 (LED) 在顯示技術中應用最為廣泛。以LED為顯示光源的背光顯示技術帶來了優于傳統顯示解決方案的能源應用效率和更好的色彩質量，并引導整個顯示產業到更薄的設計。
近十年來，2010年推出的LED背光顯示技術已在全球市場得到廣泛認可。未來有一個更精確的藍圖：更高的能源應用效率，更高的色彩飽和度，以及具有超高對比度度控制能力的Micro-LED背光模塊。Micro-LED背光模塊在為前瞻顯示帶來諸多優勢的同時，也帶來了許多新穎的挑戰和創新機會。 例如，通過在NCTU SCLAB研究奈米球光罩蝕刻技術，可以減輕在制程階段由薄外延設計產生的量子局限史塔克效應(QCSE)。由于芯片尺寸比，照明角度設計區域受到限制，提出了新的低光損耗光學設計挑戰。相當多的研究成果也測量了整體背光設計的間接物理參數。設計具有高均勻性和低功耗的Micro-LED模塊在今天仍然是一項重大挑戰。
此外，由于量子點材料可以顯著提升顯示器的色彩質量，量子點色彩轉換技術也是前瞻性顯示技術中一項極為重要且被廣泛討論的技術。在過去的半個世紀中，許多成熟的光學設計方法和物理概念已經建立并用于各種研究工作。在LED領域，對不同尺度的物理模型進行了大量的研究和分析。但是，由于宏觀尺度和微觀尺度的具體表現分別是粒子和波，在進行光學設計時，往往不可能同時進行宏觀尺度和微觀尺度的設計。由于晶粒結構的微觀尺度和背光模塊的宏觀尺度都存在于Micro-LED模塊中，這種現象已成為追求超薄設計的Micro-LED模塊的一個挑戰。
本文構建了一套光學編程程序，并介紹了一種環境控制代理技術來控制宏觀和微觀尺度。此外，由于傳統的優化計算方法，如差分進化算法和基因算法，都是rule-based的算法，具有可解釋性和使用較少超參數的特點。這種方式雖然方便開發者使用，但對于可變性較大的主題，應用起來難度更大。
相反，由大量數據驅動的數據驅動算法有很多超參數來解決各種變化的問題。為了實現高度適應性的解決方案，避免過度敏感的搜索過程導致無法找到全局最大值或最小值，本研究提供人工智能深度強化學習技術，并采用Google DeepMind的double DQN（DDQN）架構作為核心網絡創建人工智能光學設計代理以實現最佳光學設計。深度強化學習 (DRL) 和環境控制代理技術在本研究中得到充分實現。此外，基于人工智能模型的推理結果，成功生產出超薄、高效、高均勻度的Micro-LED模塊。
實驗與算法設計
1.Micro-LED 模塊及光學介紹
在前瞻顯示應用中，Micro-LED背光模塊是當前的主流發展技術，一個完整的Micro-LED背光模塊如圖1所示。主要結構包括基板、接收平面；LED數組，其波長光譜呈高斯分布，光譜峰值為445nm，光譜寬度為18nm；以及LED的結構設計。
在本文中，選擇分布式布拉格反射器（DBR）結構作為控制LED發光角度的結構，如圖1（b）所示，覆蓋LED數組下方的每個LED。在這種模塊結構中，當光從LED發射到接收器平面時，有四種主要類型的光學事件。
(1) 通過DBR結構發射到接收平面：LED發出的光入射到DBR結構的角度沒有達到全內反射角。因此，它遵循Snell's Law并通過折射進入接收器平面。
(2)直接射入接收平面：LED產生的光直接射入接收平面，不經過任何物體。
(3)從DBR結構反射光線：當光入射到DBR的角度達到全內反射角(TIR)并進入接收平面時，產生反射光。
(4)從接收平面反射光線：當光線進入接收平面時會產生反射光。
由于上述四個光學事件，光會在接收器平面、DBR和基板之間產生許多反射事件。如果反射沒有入射到完全反射的表面上，則會導致光學系統中的能量損失。
為了降低損耗，在模塊設計中，如圖1（c）所示，在基板表面使用高反射率涂層進行涂層，并使用蝕刻圖案的擴散板作為接收平面，如圖1（d）所示。為了減少能量損失，基板上涂有厚的 TiO2 層。在完成模塊的框架設計后，在設計Micro-LED背光模塊時應考慮的重要變量如圖1(a)和圖1(b)所示。
(1)距離(D)：基板與接收器平面之間的距離
(2)間距(S)：LED芯片之間的間距
(3)寬度(W)：LED的寬度
(4) DBR對數(DBR)：DBR對數數量
本研究將為架構的四個變量設計開發一種優化方法。
2.整體設計工作流程
如圖2所示，我們提供了一套全面的設計方法，以實現完美的模擬和優化結果，這個設計過程分為兩個主要模塊，一種是深度強化學習的優化引擎。該模塊的任務是在受控環境中優化人工智能代理的設計，另一個核心模塊是模擬驗證，如圖2(b)。此驗證旨在確保設計模型的環境與實際現場一致。因此，差距小到足以在模擬設計和實現之間具有足夠程度的可靠性。
圖 2(a) 顯示了兩個核心模塊組成了優化引擎，即設計代理和環境。設計代理每次向環境發出指定動作執行后，環境將環境狀態和獎勵報告給設計代理。設計代理中的算法網絡學習深度神經網絡（DNN）并引導策略函數給出動作。當獎勵飽和時，經過多次迭代，可以獲得光學設計優化。本文使用的神經網絡模型是Google 2015年發布的double deep Q-learning（DDQN）網絡模型，以ε-greedy為優化任務的核心。另一個對設計結果有重大影響的部分是強化學習架構中的環境。由于Micro-LED背光模塊既有奈米級結構也有毫米級模塊結構，因此必須兼顧宏觀和微觀的操作。一般來說，波動光學在微觀尺度的計算中占主導地位；本文使用 Synopsys的R-soft軟件進行計算。另一方面，宏觀尺度計算一般采用幾何光學進行光學計算；本文采用Synopsys的LightTools軟件進行計算。雖然有精密的計算器輔助工程(CAE)工具可以分別處理微觀和宏觀問題，但Micro-LED背光模塊必須同時處理兩個極端維度，因此我們添加了環境控制代理的概念和容器進入環境，如圖 2(a) 中的環境所示。我們在環境設計中分別設置LightTools和R-soft運行所需的環境和數據庫，然后利用環境代理程序對兩個容器任務進行協同調度。通過環境控制代理和獨立容器設置，可以有效解決超大規模計算問題。在完成基于環境控制代理和容器的環境架構后，如圖2（b）所示，為完成高可靠性模擬，我們在虛擬環境和實際場景之間進行兩組極端環境單項參數驗證，我們稱之為虛擬現實實驗。在虛擬現實實驗中，我們將完成的Micro-LED 數組樣本圖像與 LightTools 仿真圖像進行比較，并通過驗證量化差異以獲得最佳的現實參數組合。同樣，我們也使用完成的具有 DBR 結構的Micro-LED與 R-soft的仿真結果圖像進行比較，并通過驗證量化差異，以獲得最佳的現實參數組合。本文將使用圖2(a)的優化架構和圖2(b)的沉浸式環境設置來設計高可靠性的micro-LED背光模塊。
3.建立環境控制代理
建立環境的工作流程如圖3（a）所示。首先，我們實現了第一批Micro-LED背光模塊原型，使用CMOS傳感器捕獲圖像，并使用單芯片和芯片數組圖像作為優化仿真參數的基準。另一方面，DBR和Micro-LED背光模塊的光學仿真模型分別使用R-soft和LightTools建立。有六組實驗組合：
(1) 背光模塊中沒有DBR的單個氮化鎵
(2) 背光模塊中帶有2.5對DBR的單個氮化鎵
(3) 背光模塊中帶有5.5對DBR的單個氮化鎵
(4) 背光模塊中沒有 DBR 的氮化鎵數組
在仿真中，背光模塊的底部反射率和接收器反射率是必不可少的系統變量。為了建立接近準確的環境參數，實際樣品的光學反射特性通常具有散射特性。反射光的散射方式大致分為Gaussian type（反射光的主方向與法線的夾角與?入射角一致）和Lambertian type（任意入射角的反射光沿法線散射）如圖3（b）所示。我們對兩種散射模式和五個變量（Gaussian type 0°、Gaussian type 5°、Gaussian type 10°、Gaussian type 15°和Lambertian type）的底部反射率和接收器反射率進行了模擬計算。散射模型示意圖如圖3(b)所示。底部反射率和接收器反射率的可變區間分別為93%~99%和20%~40%；完成模擬計算后，計算模擬的結果矩陣輸出和CMOS采集的圖像進行驗證，如圖2（b）所示。計算式使用均方誤差計算，如方程式(1):
其中N是圖像中的像素總數，i是像素索引，ImgS是仿真生成的圖像，ImgC是通過CMOS傳感器采集的圖像。
在完成虛擬現實實驗的MSE計算后，我們將MSE最小時的參數組合作為環境模型的基本參數。該方程表示為方程式(2):
在完成環境參數值后，我們分別在PC2和PC3計算器中建立了微觀尺度和宏觀尺度的環境。PC2基于微尺度構建計算核心，其環境稱為container2。container2中的計算內核為薄膜光學，主數據庫為薄膜數據庫，包含各種薄膜材料特性值，如折射率n、消光系數α等。另一方面，PC3構建了一個基于宏觀尺度的計算核心，其環境稱為container1。container1中的計算內核是蒙地卡羅光線追蹤技術，主要數據庫是材料數據庫和雙向散射分布函數（BSDF）數據庫。container2 的計算生成了這個數據庫，如圖 3(c) 所示。當入射光進入薄膜表面時，會發生反射和折射。由于薄膜表面不是完全平坦的，無論是反射還是折射，都會產生散射的能量分布。BSDF數據庫記錄了由不同入射角的光線入射到薄膜堆上所產生的反射散射和折射散射的強度和角度分布。微觀尺度和宏觀尺度的光學問題，分別可以通過container1和container2的計算來處理。 完成PC2和PC3環境搭建后，兩個計算引擎無法進行敏感傳輸。本文介紹了PC1 的環境控制代理程序，如圖3（a）所示。該程序將強化學習的指令轉移到PC2和PC3的工作調度；該方法可以同時將強化學習的動作分配給PC2和PC3進行并行處理和優化處理，或者直接將微觀和宏觀尺度的狀態組織成統一的格式輸出到強化學習進行運算。
4.動作函數、狀態函數、獎勵函數的定義
從圖2(a)可以看出，在強化學習中，環境和設計代理之間定義三個函式，動作、狀態和獎勵。參考圖1(a)和1(b)的示意圖中的設計參數，我們將動作函數定義為表 1。對于上下調整的五種變化，我們定義了a1-a10的動作函數。我們還針對五種變化狀態定義了S1到S5的狀態函數，如表2所示。最后，參考背光模塊均勻度的定義，我們設置了三個不同的獎勵函數為方程式(3)-(5):
其中，方程式(3)采用浮動獎勵計算系統，而方程式(4)和(5)采用固定均勻度比較法的計算系統。首先，我們需要在執行強化學習計算之前定義環境的邊界值。 環境參數如表3。
5.Double deep Q-learning神經網絡
如圖2（a）所示，本文采用Double DQN（DDQN）網絡作為優化算法。詳細的計算過程如圖 4 所示。動作 (at) 通過 ε-greedy策略計算給環境控制代理。在環境控制代理的控制和計算之后，回報第t和第 (t+1)狀態St與St+1、動作和獎勵值。每次迭代的狀態、動作和獎勵值都通過回放儲存器記錄下來。然后通過Q網絡(θt)和目標Q網絡(θ't)這兩個神經網絡，我們計算損失函數以確定新的參數更新。 目標 Q 和損失函數定義在方程式(6)和(7)：
其中Rt+1是第(t+1)個狀態的獎勵值，γ是模型超參數，并且經過多次迭代，當損失函數值收斂時，可以得到一個最優的結果。
結果
1. 虛擬現實實驗
環境構建的參數設置往往是決定最終模型精度的重要因素。本文在環境搭建完成后開始進行虛擬現實實驗。根據實際樣品生產，我們使用氮化鎵作為晶圓的外延結構，使用氮化鋁/氮化鎵作為DBR結構材料，其相關固定參數如表4所示。實驗結果如圖5所示。根據圖5(a)，我們給出了單片無DBR結構、2.5對DBR、5.5對DBR的實際拍攝結果，以及改變底部反射率后圖像的MSE計算結果。結果，Gaussian type曲線均低于Lambertian type曲線，在反射率為97%時可以找到最小值。
從實驗結果來看，我們可以選擇MSE最低的參數：高斯散射為5，反射率97%作為底部反射率的環境參數，此外，圖5(a)中的i、ii和iii面板分別顯示了沒有DBR、2.5對DBR和5.5對DBR的實際拍攝結果，而面板iv、v和vi是選擇后的計算結果最佳底部反射率。發現沒有DBR結構的芯片在光斑中心出現了亮度集中的熱點現象，在模擬結果中也觀察到了同樣的現象，此外，DBR為5.5對光斑中間存在暗點現象，亮度低于周邊，在模擬結果中也觀察到了這一點。根據以上結果，這組底部反射率參數具有足夠的可靠性。根據圖5(b)，我們展示了數組類型的實驗結果，數組類型的實驗結果主要用于計算最佳接收器反射率。在實際樣品中，接收器是具有表面蝕刻圖案的PMMA結構。這種結構的主要光學機制是反射、散射和折射。在本實驗結果中，Lambertian type的MSE計算結果較低，而Lambertian type在反射率為35%時的MSE值最低，因此接收器反射率參數選擇Lambertian type，即接收器反射率為35%。圖 5（b）中的面板i、ii和iii分別顯示了沒有DBR、2.5對DBR和5.5對DBR的實際拍攝結果。可以發現使用DBR，芯片與芯片之間的暗帶逐漸變亮。在面板 iv、v 和 vi 的模擬結果中也可以發現逐漸變亮的趨勢。根據上述定性和定量分析結果，這組接收機反射率參數也具有足夠的可靠性。
2. 強化學習的結果
構建環境后，我們使用 DDQN 網絡進行強化學習，并設置了三種不同的獎勵函式和強化學習中的參數優化邊界，如表 3 和表 4。獎勵函數1的設計定義為“嚴格遞減”，這意味著要求每個損失必須低于前一個損失。此外，reward function2和reward function3被定義為與固定參考值相比的獎勵函數。由于獎勵函數 2 和 3 不需要遵循嚴格的增量規則，因此可以避免過擬合，收斂結果更穩定。實驗結果顯示在圖6(a)、6(b)和6(c)，表示使用獎勵函數1、2和3的每次迭代的一致性。使用獎勵函數1的迭代結果最初是不穩定的，結果的一致性為0經常出現。雖然經過250次迭代后才達到更穩定的運行優化，但該值仍然可以在穩定區域發現明顯的衰減不穩定結果。 最好的結果出現在第 289 次迭代中。結果如圖6(d)所示。根據平均Y=0 mm截止線的值，均勻度計算寫為方程式(8):
其中L是Y=0 mm時的截止線，L [25%,75%] 表示取 L 線第 25 到第 75 區間的值。
圖6(d)顯示了計算獎勵函數 1 時最佳解的狀態為Sb1 (D=0.18 mm,W=0.04 mm, S=0.4 mm, T=0.02 mm, DBR=5.5 pairs)，均勻度為是83.97%。此外，在圖6(b) 和 6(c) 使用獎勵函數2和獎勵函數3時，它們可以通過少量迭代達到穩定狀態，并且不太容易出現計算崩潰。如圖 6(b) 和 6(c) 所示，當迭代次數為183和249時，可以找到最佳解。最佳解決方案的結果如6（e）和6（f）所示。 狀態為 Sb2 (D = 0.16 mm, W = 0.02 mm, S = 0.46 mm, T = 0.015 mm, DBR = 5.5 pairs)和 Sb3 (D = 0.18 mm,W = 0.028 mm, S = 0.5 mm,T = 0.035 mm，DBR = 6.5 pairs)，均勻度分別為86.51%和90.32%。
3. 真實樣本的結果
完成上述優化模型設計后，我們根據 Sb3 設計進行原型演示。 使用DBR結構可以降低整體顆粒度，如圖7所示。
討論
根據以上實驗結果，采用本文提出的方法設計的設計代理可以有效優化光學設計，但更多的物理特性仍需總結。我們將重點關注以下幾點并進行討論。
(1) DBR 結構推斷
(2) micro-LED 背光模塊的能量損失機制
(3) micro-LED 背光模塊的設計規則
(4) 強化學習的工作效率
1. DBR結構推斷
首先，我們將狀態 Sb3 (D = 0.18 mm，W = 0.028 mm，S = 0.5 mm，T = 0.035 mm，DBR = 6.5 pairs)最佳計算結果作為有DBR結構的實驗組，并設置Sb3無DBR結構為對照組，S'b3 (D = 0.18 mm，W = 0.028 mm，S = 0.5 mm，T = 0.035 mm，DBR = 0 pairs)。比較結果如圖8所示。圖8(a)和8(b)分別是Sb3和S'b3的光學類別分布。很明顯，沒有DBR結構的S'b3有明顯的熱點分布，而有DBR結構的Sb3沒有明顯的熱點分布。圖8(c)顯示了Sb3和S'b3在Y=0 mm處的能量分布結果，從這個結果可以計算出Sb3的照度為109,814 lux，均勻度90.32%，S'b3的照度為119,910 lux，均勻度為68.15%。DBR結構會將芯片發出的大量光反射到背板，造成一定程度的能量損失。此設計中的能量損失僅為8.5%。此外，反射光還改善了芯片之間的能量損失。空間的能量使原本分布在晶圓上方的光能被引導到晶圓之間的暗帶。總體而言，DBR結構將均勻性提高了32%。
2. Micro-LED 背光模塊的能量損失機制
從以上結果我們可以看出，DBR可以通過反射芯片的光來優化暗帶的光能量。 在這個過程中，每次反射往往伴隨著能量損失，如圖9所示。DBR結構反射到背板的光產生的光損失是Micro-LED背光模塊的主要能量損失機制，而另一個是接收器反射到背板的光造成的光損失，如圖1所示。
Micro-LED背光模塊的結構由于考慮到optical event3和optical event4，從架構一開始就采用了高厚度高反射填料表面反射漆結構。虛擬現實實驗結果表明，這種結構的反射率高達97%，使整個系統的光損耗降低到10%以內。
3. Micro-LED背光模塊設計規則
表 5 提供了不同獎勵函數設計下的優化結果。Sb1 (D=0.18 mm,W=0.04 mm, S=0.4 mm, T=0.02 mm, DBR=5.5 pairs)，Sb2 (D = 0.16 mm, W = 0.02 mm, S = 0.46 mm, T = 0.015 mm, DBR = 5.5 pairs) 與Sb3 (D = 0.18 mm,W = 0.028 mm, S = 0.5 mm,T = 0.035 mm，DBR = 6.5 pairs)。進一步分析這三組狀態的結果，除Sb2外，均得出光學距離D為0.18 mm的結論； 這個值是我們設定的優化參數范圍內的最大值，這個結果與傳統液晶背光模塊的設計規律是一致的。另一方面，影響Sb1、Sb2、Sb3結果的主要因素是芯片之間的空間能量。如圖8所示，將芯片中心的能量大角度轉移的能力，有助于抑制芯片上的熱點和芯片間的暗點現象。我們從 Sb1、Sb2 和 Sb3 中取出 W 和 T，并計算幾何因子 f 為方程式(9)基于橫向和前向發光表面積：
其中T是LED的厚度，W是LED的寬度。參數符號如圖1所示。Sb1、Sb2 和 Sb3的f值分別為2、3和5。根據以往的研究，較大的f值可以提供較大的發光角度，增加芯片間距光學事件2的發生率。Sb3的DBR參數為6.5對，而Sb1和Sb2的DBR參數為5.5對。它具有較高的反射率，可以減少光學事件1的入射，減少光學事件1和增加光學事件2以實現顯著的能量傳遞，從而使Sb3具有最佳的光學均勻性設計結果。
4. 強化學習的工作效率
在這項研究中，通過強化學習和環境控制代理建立了一個高效的設計代理。為保證設計agent在參數限制區間內得到的解是最佳的，在表3中D、W、S、T、DBR定義的下限區間上增加step，進行全變量循環操作。參數D、W、S、T和DBR的步長分別為10、10、50、10和0.5。因此，我們得到D、W、S、T和DBR分別有18、10、9、6和11個變量值。總共有106,920種組合。總計算時間為297小時。獲得的最佳結果是均勻度 89.61%。另一方面，采用了強化學習的設計。該代理共執行16,000次計算，耗時53.3 小時。獲得的最佳結果是均勻性90.32%，如表6所示。因此，在優化求解時間中，設計代理只需要整個循環的17.9%。根據表6，雖然整個循環似乎描述了完整的解平面，但由于每個參數的步長都是固定值，所以整個循環所描繪的解平面是離散解的平面描繪。另一方面，它采用了具有深度學習解決方案特點的強化學習設計代理，即縮小搜索范圍以找到最佳解決方案。因此，它可以提供更高效、更優的優化方案。
結論
傳統的光學設計方法一般強調模型參數的準確性。有很多關于測量詳細參數的研究； 然而，同時考慮極端尺度的影響可能具有挑戰性。本研究引入的環境控制代理技術將微觀尺度和宏觀尺度模型高效地整合為一組優化模型，消除了不同計算尺度帶來的所有計算障礙。強化學習模型還提供了一種針對Micro-LED背光模塊的高效模型優化設計方法。與全循環模式相比，可以確定解平面上分辨率更高的最優位置；因此，設計代理的優化結果比整個循環的優化結果要好一些。此外，與多參數離散循環解相比，設計代理可以找到更準確的解，只需要整個循環時間的17.9%即可找到解。本研究采用新穎的多環境控制方法和強化學習框架，成功開發出具有DBR結構的Micro-LED背光模塊作為背光均勻度優化組件，與沒有DBR結構的Micro-LED背光模塊相比，其均勻度提升了32%。
文章來源：鴻海研究院
作者：第一作者黃哲瑄臺灣交大博士，中國臺灣陽明交通大學教授郭浩中，通訊作者深圳大學微電子研究院材料學院研究員劉新科
原文鏈接：
