自然環(huán)境下，汽車圖像背景復(fù)雜、光照不均勻，如何在自然背景中準確地確定牌照區(qū)域是整個識別過程的關(guān)鍵。對采集到的視頻圖像進行大范圍相關(guān)搜索，找到符合汽車牌照特征的若干區(qū)域作為候選區(qū)，然后對這些侯選區(qū)域做進一步分析、評判，后選定一個佳的區(qū)域作為牌照區(qū)域，并將其從圖像中分離出來。

自然光路線是指白天利用自然光線，夜間采用輔助照明光源，用彩色攝像機采集車輛真彩色圖像，用彩色圖像分析處理方法識別車牌。自然光真彩色識別技術(shù)路線，與人眼感光習(xí)慣一致，并且，真彩色圖像能夠反映車輛及其周圍環(huán)境真實的圖像信息，不僅可以用來識別車牌照，而且可以用來識別車牌照顏色、車流量、車型、車顏色等車輛特征。用一個攝像機采集的圖像，同時實現(xiàn)所有前端基本視頻信息采集、識別和人工輔助圖像取證判別，可以前瞻性的為未來的智能交通系統(tǒng)工程預(yù)留接口。

紅外光路線是指利用車牌反光和紅外光的光學(xué)特性，用紅外攝像機采集車輛灰度圖像，由于紅外特性，車輛圖像上幾乎只能看見車牌，然后用黑白圖像處理方法識別車牌。950nm的紅外照明裝置可抓拍到很好的反光車牌照圖像。因紅外光是不可見光，它不會對駕駛員產(chǎn)生視覺影響。另外，紅外照明裝置提供的是不變的光，所抓拍的圖像都是一樣的，不論是在一天中明亮的時候，還是在一天中暗的時候。的例外是在白天，有時會看到一些牌照周圍的細節(jié)，這是因為晴朗天氣時太陽光的外光波的影響。采用紅外燈的缺點就是所捕獲的車牌照圖像不是彩色的，不能獲取整車圖像，并且嚴重依賴車牌反光材料。

通過一些后續(xù)處理技術(shù)其可以實現(xiàn)停車場出入口收費管理、盜搶車輛管理、高速公路超速自動化管理、闖紅燈電子警察、公路收費管理等等功能。對于維護交通安全和城市治安，防止交通堵塞，實現(xiàn)交通全自動化管理有著現(xiàn)實的意義。我國標準汽車牌照是由漢字、英文字母和阿拉伯?dāng)?shù)字組成，漢字識別與字母和數(shù)字的識別有很大的區(qū)別，漢字的識別增加了識別的難度；

一個車牌識別系統(tǒng)的后臺管理體系，決定了這個車牌識別系統(tǒng)是否好用。清楚地認識到重要的一點是識別率達到是不可能的，因為車牌照污損、模糊、遮擋，或者天氣也許很糟（下雪﹑冰雹﹑大霧等等）。

例如一個車牌系統(tǒng)在白天有90%以上的準確度，到了傍晚就降到80%，夜間又降到70%，這種不穩(wěn)定的系統(tǒng)，比起全天候平均擁有70%準確度的車牌辨識系統(tǒng)更難于整合。因為使用者會認為，既然白天的辨識率有90%，那全天候的準確率都要達到90%才合理，這樣的規(guī)格還不包括奇怪的環(huán)境干擾(暴雨襲擊、冰雹、濃霧區(qū)段等)，與架設(shè)環(huán)境限制(高度限制、風(fēng)大搖晃限制、不容易遭受人為破壞等)。