開發(fā)專欄
NEW
拍攝圖像和影像的半導體裝置—圖像傳感器常被裝載于數(shù)碼相機和智能手機、汽車等各種電子設備上。但是,光靠圖像傳感器(Image Sensor)是無法完全發(fā)揮全部機能的。需要與負責圖像處理的「Image Signal Processor(ISP)」一起使用,缺一不可。但問題在于ISP的固件開發(fā)非常困難。為了解決這一問題,Thine Electronics開始提供「相機開發(fā)工具(CDK)」。這次我們將就CDK開發(fā)的背景和實際采用時的效能等進行解說。
對圖像傳感器來說ISP是不可或缺的
圖像傳感器的應用范圍很廣泛。不僅可用于數(shù)碼相機和智能手機等,在汽車、監(jiān)控攝像頭、產業(yè)機械、投影儀(visualizer)、WEB會議系統(tǒng)、醫(yī)療用電子設備;甚至在AR(擴增實境) 、VR(虛擬實境) 、MR(混合實境)等對應XR設備的使用率也在急速增加。
要在這些電子設備里裝入圖像傳感器就必須用到「Image Signal Processor(ISP)」。因為僅憑圖像傳感器拍攝出的圖像數(shù)據只能稱作「不完全的圖」。需要使用ISP來去除噪點、調整明暗度、校正被攝物的焦點 (focus)等作出各種處理。具體來說需要經過Demosaic(Debayer)、降噪、自動曝光 (AE)、自動對焦等處理來做成「完全的圖」(圖1)。
因此,要在電子設備里安裝圖像傳感器需要選擇并使用最合適的ISP。但根據電子設備的不同,ISP的形式也會有所不同。在智能手機中大多會使用面向移動終端的芯片組內整合的ISP機能。極少會使用獨立IC。其他電子設備中則較常使用獨立ISP芯片或者裝載了IP核化的ISP的FPGA。
要在這些電子設備里裝入圖像傳感器就必須用到「Image Signal Processor(ISP)」。因為僅憑圖像傳感器拍攝出的圖像數(shù)據只能稱作「不完全的圖」。需要使用ISP來去除噪點、調整明暗度、校正被攝物的焦點 (focus)等作出各種處理。具體來說需要經過Demosaic(Debayer)、降噪、自動曝光 (AE)、自動對焦等處理來做成「完全的圖」(圖1)。

因此,要在電子設備里安裝圖像傳感器需要選擇并使用最合適的ISP。但根據電子設備的不同,ISP的形式也會有所不同。在智能手機中大多會使用面向移動終端的芯片組內整合的ISP機能。極少會使用獨立IC。其他電子設備中則較常使用獨立ISP芯片或者裝載了IP核化的ISP的FPGA。
不容易使用
無論采用何種形式的ISP,想要運用自如并非容易的事。要完成一張「完全的圖」,需要開發(fā)能將各種參數(shù)設定在最適值上的固件。這需要具備相當多的軟件、相機(光學)、圖像處理等相關知識,并非簡單可以完成的。
如大型的智能手機生產商因為需要大量購買整合了ISP的面向移動終端用芯片組,就能得到芯片組供應商很好的協(xié)助和支持。也因此,開發(fā)固件對他們來說并非難事。
但對中小型智能手機生產商、產業(yè)機械用機器視覺設備廠商、監(jiān)控攝像頭廠商等來說,固件的開發(fā)就有不小的難度。其購買的芯片組和ISP芯片數(shù)量較少,因此也很難得到供應商很好的支持與協(xié)助。
當然,這些廠商可以委托提供芯片組或ISP芯片的半導體廠商來進行固件的開發(fā)。但這樣他們自然需要負擔開發(fā)費用。這筆費用并不小?!溉绻曩徹洈?shù)量能超過100萬個的application,開發(fā)費用即可作為成本吸收;但如果只有每年10萬個左右的話,開發(fā)費用必然會成為沉重的負擔」(THine Electronics)。
即便采用FPGA也很難改善。因為需要自行開發(fā)固件這一點還是不變的。而且無法指望ISP核供應商的支持。使用FPGA的話,可以按自身必須的處理內容自行設計回路,來組裝硬件。但這樣就需要非常高的硬件相關的技術能力。一般電子設備廠商的硬件工程師要少于軟件工廠是,所以并非解決問題的良策。
如大型的智能手機生產商因為需要大量購買整合了ISP的面向移動終端用芯片組,就能得到芯片組供應商很好的協(xié)助和支持。也因此,開發(fā)固件對他們來說并非難事。
但對中小型智能手機生產商、產業(yè)機械用機器視覺設備廠商、監(jiān)控攝像頭廠商等來說,固件的開發(fā)就有不小的難度。其購買的芯片組和ISP芯片數(shù)量較少,因此也很難得到供應商很好的支持與協(xié)助。
當然,這些廠商可以委托提供芯片組或ISP芯片的半導體廠商來進行固件的開發(fā)。但這樣他們自然需要負擔開發(fā)費用。這筆費用并不小?!溉绻曩徹洈?shù)量能超過100萬個的application,開發(fā)費用即可作為成本吸收;但如果只有每年10萬個左右的話,開發(fā)費用必然會成為沉重的負擔」(THine Electronics)。
即便采用FPGA也很難改善。因為需要自行開發(fā)固件這一點還是不變的。而且無法指望ISP核供應商的支持。使用FPGA的話,可以按自身必須的處理內容自行設計回路,來組裝硬件。但這樣就需要非常高的硬件相關的技術能力。一般電子設備廠商的硬件工程師要少于軟件工廠是,所以并非解決問題的良策。
自動生成固件
為了解決這些問題,ISP芯片生產商的THine Electronics開始為其ISP芯片「THP7312」提供CDK(相機開發(fā)工具)。
CDK主要是由硬件與固件開發(fā)用GUI工具「Thine Tuning Tool」、固件樣板這3部分組成。硬件里主要有裝載THP7312的ISP板、影像擷取卡和內置圖像傳感器的相機模組前板(圖2)。
GUI工具是在電腦上操作的應用程序??梢酝ㄟ^在電腦頁面上根據menu輸入數(shù)值;或從下拉菜單中選擇參數(shù),將樣板自動改寫來開發(fā)所需固件(圖3)。幾乎不需要固件開發(fā)的專業(yè)知識。因此可在降低開發(fā)成本的同時大幅度縮短開發(fā)周期。
雖然現(xiàn)在有多家半導體廠商提供ISP芯片,但卻很少有提供固件開發(fā)的GUI工具的?!讣幢阌邪雽w廠商提供簡易工具,也與敝司提供的GUI工具在執(zhí)行效能上會有很大差距」(THine Electronics)。FPGA也基本如此?!笓覀兯壳安]有ISP核的供應商在提供固件開發(fā)用GUI工具」(THine Electronics)。
因此,對中小型智能手機、產業(yè)機械用機器視覺設備、監(jiān)控攝像頭、XR應用設備等生廠商來說,ISP芯片「THP7312」與CDK的組合是目前最佳的選擇。這意味著不再需要依靠FPGA。還能實現(xiàn)減少電力消耗、印刷電路板實裝面積小型化等價值。因為要裝載ISP核,原先需要比較高端的FPGA。這對需要大幅縮小尺寸的XR應用設備來說無疑是個好消息。
下一章我們將就CDK所含的GUI工具的技術細節(jié)和使用方法進行詳細介紹。
(未完待續(xù))
CDK主要是由硬件與固件開發(fā)用GUI工具「Thine Tuning Tool」、固件樣板這3部分組成。硬件里主要有裝載THP7312的ISP板、影像擷取卡和內置圖像傳感器的相機模組前板(圖2)。

GUI工具是在電腦上操作的應用程序??梢酝ㄟ^在電腦頁面上根據menu輸入數(shù)值;或從下拉菜單中選擇參數(shù),將樣板自動改寫來開發(fā)所需固件(圖3)。幾乎不需要固件開發(fā)的專業(yè)知識。因此可在降低開發(fā)成本的同時大幅度縮短開發(fā)周期。

雖然現(xiàn)在有多家半導體廠商提供ISP芯片,但卻很少有提供固件開發(fā)的GUI工具的?!讣幢阌邪雽w廠商提供簡易工具,也與敝司提供的GUI工具在執(zhí)行效能上會有很大差距」(THine Electronics)。FPGA也基本如此?!笓覀兯壳安]有ISP核的供應商在提供固件開發(fā)用GUI工具」(THine Electronics)。
因此,對中小型智能手機、產業(yè)機械用機器視覺設備、監(jiān)控攝像頭、XR應用設備等生廠商來說,ISP芯片「THP7312」與CDK的組合是目前最佳的選擇。這意味著不再需要依靠FPGA。還能實現(xiàn)減少電力消耗、印刷電路板實裝面積小型化等價值。因為要裝載ISP核,原先需要比較高端的FPGA。這對需要大幅縮小尺寸的XR應用設備來說無疑是個好消息。
下一章我們將就CDK所含的GUI工具的技術細節(jié)和使用方法進行詳細介紹。
(未完待續(xù))
※圖的補充說明
(圖1 經ISP處理后的影像)
左邊為ISP處理前的影像;右邊為處理后的影像。將各像素里原為1色的RAW
數(shù)據處理為各像素里RGB3色,并進行了降噪。亮度和焦點也由ISP控制。
(圖1 經ISP處理后的影像)
左邊為ISP處理前的影像;右邊為處理后的影像。將各像素里原為1色的RAW
數(shù)據處理為各像素里RGB3色,并進行了降噪。亮度和焦點也由ISP控制。