開發(fā)專欄
NEW
裝載了圖像處理器的電子設(shè)備必須使用負責(zé)處理圖像等的圖像單處理器(ISP)。這就需要面臨ISP用固件的開發(fā)這一課題。本篇連載的第一期在介紹了ISP用固件開發(fā)現(xiàn)狀的同時,也闡述了為了解決這一開發(fā)上的問題THine Electronics的對策。使用本公司提供的「相機開發(fā)套件(CDK:Camera Development Kit)」,就能解決這一課題。本次連載的第二期,將詳細說明組成相機開發(fā)套件的要素之一的GUI工具--「THine Tuning Tool」(簡稱「3T」)。使用這一工具,只要有一定相機和圖像處理相關(guān)知識,即便沒有固件開發(fā)的經(jīng)驗,也能開發(fā)出ISP用固件。
CDK有很大的好處

也就是說,用硬件開發(fā)套件、軟件開發(fā)套件和GUI工具這3個構(gòu)成要素,來開發(fā)ISP用固件。開發(fā)負責(zé)人說:「雖然有提供軟件開發(fā)套件的ISP芯片供貨商,但目前并沒有在此基礎(chǔ)上能連帶提供硬件和GUI工具的3件套的供貨商。(*指截止我司開始開發(fā)為止)
這3件套中,對客戶好處最多的是GUI工具。在安裝了GUI工具的PC商,只要輸入數(shù)值并在下拉菜單中選擇項目就可以自動生成固件。在大幅削減固件開發(fā)費用的同時,還能縮短開發(fā)周期。此外,只要具有一定相機(光學(xué)系)和圖像處理相關(guān)知識,就無需再安排安裝固件的專業(yè)工程師。
除此之外還有別的好處。因此能簡單并快速地生成固件,就可以將開發(fā)時間更多地運用于對畫質(zhì)的反復(fù)實驗/測試;測試各種性能各異的相機模組;替換光學(xué)鏡頭;確認阻隔/過濾紅外線(IR)效果等相繼開發(fā)的基本操作上。
配備10個配置程序
接下來讓我們具體看一下GUI工具「3T」(圖2)。
這個GUI工具最大的作用是優(yōu)化畫質(zhì)。連載第1期里也提及過:圖像傳感器拍攝的圖像數(shù)據(jù)本身并不完整。因此需要對其進行一系列的處理。要實現(xiàn)這些處理就需要用到配置程序。一般ISP用固件的編程碼必須直接記述;但使用GUI工具就可在PC上通過簡單的操作自動生成ISP用固件。
總共有10個配置程序。我們簡單地來一個個看一下。
第1個是「AE: Register Configurator」。這個固件負責(zé)調(diào)整自動曝光(自動擴展)??稍O(shè)定使圖像更明亮或者更暗及閃屏對抗等基本參數(shù)。
第2個是「AE: Threshold Configurator」(圖3)。
這也是關(guān)于自動曝光的??稍O(shè)定為對抗電機振動的AE追從性等。
第3個是「AE: Window Configurator」;也是關(guān)于自動曝光的??蓪嵭薪M合了5種測光范圍的AE(圖4)。
具體來說就是可以將一幅圖像切割成8x6的范圍后設(shè)定附帶重量;以及在任意的范圍內(nèi)測光。比如人物照的話就可將其設(shè)定為更重視中央部分的明亮度。
第4個就是「AE: Diagram Configurator」。這是對被攝體的明亮度通過方框圖(圖表)來設(shè)定增益與快門速度(實際指倒數(shù)的曝光時間)的一種配置程序。增益與曝光時間是互相調(diào)整的關(guān)系。曝光時間越短就越不容易受抖動影響,但需要將增益提高所以噪點就會變大。但如果為了降低噪點而將曝光時間延長,則對抖動的耐力就會變?nèi)酢R虼?,根?jù)用途不同,很難單選1個圖表。而這個配置程序可同時記錄3種模式。即降噪并畫質(zhì)優(yōu)先的模式以及拍攝高速運動中的被攝體的防抖動模式等。
第5個就是「AWB/IQ: Register Configurator」。負責(zé)噪點修正與銳度相關(guān)的設(shè)定。噪點修正功能可為ISP芯片提供硬件過濾和選擇自動設(shè)定或手動設(shè)定。在銳度調(diào)整上則可對拍攝圖像的輪廓進行強化調(diào)整。雖然在人物照時無法使輪廓更清晰,但在設(shè)定文字較多的圖像時可其更清晰。此外,也可對白平衡、Tone Map、OB(光學(xué)黑體)、缺陷修正等進行調(diào)整。

總共有10個配置程序。我們簡單地來一個個看一下。
第1個是「AE: Register Configurator」。這個固件負責(zé)調(diào)整自動曝光(自動擴展)??稍O(shè)定使圖像更明亮或者更暗及閃屏對抗等基本參數(shù)。
第2個是「AE: Threshold Configurator」(圖3)。

第3個是「AE: Window Configurator」;也是關(guān)于自動曝光的??蓪嵭薪M合了5種測光范圍的AE(圖4)。

第4個就是「AE: Diagram Configurator」。這是對被攝體的明亮度通過方框圖(圖表)來設(shè)定增益與快門速度(實際指倒數(shù)的曝光時間)的一種配置程序。增益與曝光時間是互相調(diào)整的關(guān)系。曝光時間越短就越不容易受抖動影響,但需要將增益提高所以噪點就會變大。但如果為了降低噪點而將曝光時間延長,則對抖動的耐力就會變?nèi)酢R虼?,根?jù)用途不同,很難單選1個圖表。而這個配置程序可同時記錄3種模式。即降噪并畫質(zhì)優(yōu)先的模式以及拍攝高速運動中的被攝體的防抖動模式等。
第5個就是「AWB/IQ: Register Configurator」。負責(zé)噪點修正與銳度相關(guān)的設(shè)定。噪點修正功能可為ISP芯片提供硬件過濾和選擇自動設(shè)定或手動設(shè)定。在銳度調(diào)整上則可對拍攝圖像的輪廓進行強化調(diào)整。雖然在人物照時無法使輪廓更清晰,但在設(shè)定文字較多的圖像時可其更清晰。此外,也可對白平衡、Tone Map、OB(光學(xué)黑體)、缺陷修正等進行調(diào)整。
可進行細微的色彩調(diào)整
第6個是「AWB/IQ: AWB Configurator」。能在3個光源下使用EVB(Evaluation Board)對均等面(18%灰度等)拍攝RAW圖像;并自動調(diào)整白平衡等參數(shù)。
第7個是「AWB/IQ: Color Configurator」。這是與色彩相關(guān)的配置程序??稍O(shè)定3種光源各自的色彩矩陣、鮮艷度和對每個色調(diào)進行微調(diào)(圖5)。
其特征是「可通過6軸設(shè)定,能進行細微的調(diào)整」(THine Electronics)??舍槍ο鄼C不同的目的用來制作圖像。
第8個是「AWB/IQ: Shading Configurator」。一般光學(xué)鏡頭+圖像傳感器的特點是從中央向兩邊其受光會越來越困難。因此不做修正的話中央就會明亮,越往外延就會越暗。鏡頭底紋配置器的原理是通過輸入AWB配置器的3種光源下均等面的RAW數(shù)據(jù),既能自動生成適合所用的光學(xué)鏡頭的底紋參數(shù)。需要什么程度的明亮度也可由用戶自行設(shè)定。
第9個是「AWB/IQ: Tone map Configurator」。這是一個負責(zé)被稱作伽馬修正的一種調(diào)整的配置程序??芍付▓D像等級的輸出特性;設(shè)定并區(qū)別使用復(fù)數(shù)的伽馬曲線;來實現(xiàn)客戶喜好的各種「對圖像的調(diào)整」。
第10個是「AWB/IQ: Gain Based Parameter Configurator」。這個配置程序可用于根據(jù)設(shè)定的增益值,對 NR(噪點修正)、銳度及鮮艷度和色彩的強度進行調(diào)整。比如增益高且噪點多的較暗的攝影條件下,通過提高NR強度來控制噪點;一方面在增益低時調(diào)低NR強度以保證分辨率。
第7個是「AWB/IQ: Color Configurator」。這是與色彩相關(guān)的配置程序??稍O(shè)定3種光源各自的色彩矩陣、鮮艷度和對每個色調(diào)進行微調(diào)(圖5)。

第8個是「AWB/IQ: Shading Configurator」。一般光學(xué)鏡頭+圖像傳感器的特點是從中央向兩邊其受光會越來越困難。因此不做修正的話中央就會明亮,越往外延就會越暗。鏡頭底紋配置器的原理是通過輸入AWB配置器的3種光源下均等面的RAW數(shù)據(jù),既能自動生成適合所用的光學(xué)鏡頭的底紋參數(shù)。需要什么程度的明亮度也可由用戶自行設(shè)定。
第9個是「AWB/IQ: Tone map Configurator」。這是一個負責(zé)被稱作伽馬修正的一種調(diào)整的配置程序??芍付▓D像等級的輸出特性;設(shè)定并區(qū)別使用復(fù)數(shù)的伽馬曲線;來實現(xiàn)客戶喜好的各種「對圖像的調(diào)整」。
第10個是「AWB/IQ: Gain Based Parameter Configurator」。這個配置程序可用于根據(jù)設(shè)定的增益值,對 NR(噪點修正)、銳度及鮮艷度和色彩的強度進行調(diào)整。比如增益高且噪點多的較暗的攝影條件下,通過提高NR強度來控制噪點;一方面在增益低時調(diào)低NR強度以保證分辨率。
配置程序的使用方法
通過這10個配置程序能進行怎樣的設(shè)定呢?我們來根據(jù)不同用途列舉2個例子。
1個是產(chǎn)業(yè)用機器視覺的案例。以在控制面板上裝載了左上和右下的LSI的狀態(tài)下測試時為例,2個LSI材質(zhì)不同時,其中一個調(diào)試為適應(yīng)曝光度,另一個就會出現(xiàn)黑斑或跳白。這里就需要用到第3個介紹的配置程序「AE: Window Configurator」。先用左上的LSI實裝部分調(diào)試曝光度拍攝;再用右下的LSI實裝部分來調(diào)試曝光度并拍攝。這樣就能在需要的部位得到鮮明的圖像,進行正確的調(diào)試。
另1個就以數(shù)字化鏡臺和美顏相機為例。拍攝臉部照片時對膚色等不同國家地區(qū)都會有不同愛好。這就需要用到第7個介紹的「Color Configurator」,來調(diào)整出個人喜好的色調(diào)。通過這樣的「圖像制作」,能提高數(shù)字相機的商品價值。
1個是產(chǎn)業(yè)用機器視覺的案例。以在控制面板上裝載了左上和右下的LSI的狀態(tài)下測試時為例,2個LSI材質(zhì)不同時,其中一個調(diào)試為適應(yīng)曝光度,另一個就會出現(xiàn)黑斑或跳白。這里就需要用到第3個介紹的配置程序「AE: Window Configurator」。先用左上的LSI實裝部分調(diào)試曝光度拍攝;再用右下的LSI實裝部分來調(diào)試曝光度并拍攝。這樣就能在需要的部位得到鮮明的圖像,進行正確的調(diào)試。
另1個就以數(shù)字化鏡臺和美顏相機為例。拍攝臉部照片時對膚色等不同國家地區(qū)都會有不同愛好。這就需要用到第7個介紹的「Color Configurator」,來調(diào)整出個人喜好的色調(diào)。通過這樣的「圖像制作」,能提高數(shù)字相機的商品價值。
還具有I/O設(shè)定等方便的功能
GUI工具除了這10個畫質(zhì)調(diào)整用配置程序外,還具有I/O配置程序與驅(qū)動模式程序等方便的功能。
I/O配置程序與ISP芯片的輸入輸出信號相關(guān)(圖6)。
SP芯片中輸入I/F分為2種:MIPI CSI-2信號和并聯(lián)信號。而輸出I/F分為3種:MIPI CSI-2信號、8bit的并聯(lián)信號和16bit的并聯(lián)信號。因此需要根據(jù)前段和后段的裝置來設(shè)定與所選信號形式相符的輸入/輸出端機能。使用這次準備的I/O配置程序就能在PC上簡單地進行設(shè)定。
驅(qū)動模式配置程序是一種自動設(shè)定圖像傳感器的圖像尺寸和匹配其幀率的ISP芯片內(nèi)部的時鐘頻率以及I/F的比特率等的功能?!窽HP7312」最大可對應(yīng)1600萬像素(16M像素)。幀率根據(jù)圖像尺寸最大可對應(yīng)30幀/秒(4K2K)、120幀/秒(1080p)和240幀/秒(720p)。選擇像素尺寸和幀率即可自動設(shè)定ISP芯片內(nèi)部的時鐘頻率。此外它還具有記錄復(fù)數(shù)的驅(qū)動模式的功能??捎涗洝?K2K、30fps模式」和「Full HD、30fps模式」等。
這次我們對GUI工具、3T即THine Tuning Tool上裝載的配置程序進行了詳細解說。無論哪種配置程序,都能在裝載了圖像傳感器的機器視覺和監(jiān)控攝像、數(shù)碼相機等用途上發(fā)揮重要的效果。但是GUI工具「3T」可應(yīng)用的用途還不僅僅是這些。目前已經(jīng)在「XR對應(yīng)設(shè)備」的功能上實際裝載了。下一期(第三期)我們將在詳細說明這一機能的同時,為大家介紹相機開發(fā)套件的次時代戰(zhàn)略。
(待續(xù))
I/O配置程序與ISP芯片的輸入輸出信號相關(guān)(圖6)。

驅(qū)動模式配置程序是一種自動設(shè)定圖像傳感器的圖像尺寸和匹配其幀率的ISP芯片內(nèi)部的時鐘頻率以及I/F的比特率等的功能?!窽HP7312」最大可對應(yīng)1600萬像素(16M像素)。幀率根據(jù)圖像尺寸最大可對應(yīng)30幀/秒(4K2K)、120幀/秒(1080p)和240幀/秒(720p)。選擇像素尺寸和幀率即可自動設(shè)定ISP芯片內(nèi)部的時鐘頻率。此外它還具有記錄復(fù)數(shù)的驅(qū)動模式的功能??捎涗洝?K2K、30fps模式」和「Full HD、30fps模式」等。
這次我們對GUI工具、3T即THine Tuning Tool上裝載的配置程序進行了詳細解說。無論哪種配置程序,都能在裝載了圖像傳感器的機器視覺和監(jiān)控攝像、數(shù)碼相機等用途上發(fā)揮重要的效果。但是GUI工具「3T」可應(yīng)用的用途還不僅僅是這些。目前已經(jīng)在「XR對應(yīng)設(shè)備」的功能上實際裝載了。下一期(第三期)我們將在詳細說明這一機能的同時,為大家介紹相機開發(fā)套件的次時代戰(zhàn)略。
(待續(xù))