作者：BrianDipert，嵌入式視覺同盟；YvesLegrand，飛思卡爾半導體；BruceTannenbaum，MathWorks公司
藥品分揀機器人直營為了讓機器人更好天與其周圍的事物停止互動，并靈巧天挪動，機器人必需可能看到并鑒識其周圍的情況。經(jīng)濟高效且功能強大的視覺處理器（經(jīng)由過程深度鑒識圖象傳感器停止數(shù)據(jù)傳輸，并采取極具魯棒性的軟件算法）正在使人們盼望已久的自順應機器人成為理想。
機器人，這一長時間呈現(xiàn)正在科幻世界跟航運產(chǎn)物文檔中的事物，被描寫為可能資助人類從機器、枯燥跟難以忍受的事情中釋放出來，并應用其高速度及高精度的特色晉升事情后果。無論是可實現(xiàn)吸塵、地毯蕩滌，以至排水溝的干凈事情的第一代自立花費機器人體系，或是多種類型的出產(chǎn)情況下機器人的利用正不休增加，皆可以解釋上述概念。
然而第一代消費類機器人采取了絕對粗拙的計劃去定位并感知其周圍環(huán)境。這些根本技巧包羅由紅外線發(fā)射器構成的天然壁壘，它可與內置在機器人傍邊的紅外線傳感器停止協(xié)作，從而防備機器人從樓梯上滾下或浪蕩到另一個房間。當自立機器人碰到了不成挪動的物體時，震撼傳感器可告訴機器人，讓機器人不再繼續(xù)前進。而更進步前輩的畫圖功能設計以至讓機器人沒必要再次返回這個特別的地位。與人類的事情方法比擬，機器人的事情沒必要思量膂力因素、加倍快速，而且加倍精確，但機器人勝利的條件是讓去推測達流動的標的目的跟地位，是以晉升了制造流程的復雜性。來料部件的地位及標的目的呈現(xiàn)任何偏離皆將招致拆卸的失利。
人類用眼睛跟大腦對其周圍的世界停止辨識跟定位。從實際上講，采取攝像頭組件、視覺處理器跟各類軟件算法的機器人體系也該當可以做到。但縱觀汗青，如許的圖象剖析技巧平常只有正在龐大而且高貴的體系中才氣找到。但數(shù)字集成電路正在本錢、機能跟功耗方面的先進，為視覺功用利用正在多樣化跟高容量的使用上攤平了途徑，此中包羅機器人實現(xiàn)的功用愈來愈多。雖然機器人正在功用實現(xiàn)方面依然面對著諸多應戰(zhàn)，但與以往比擬，明天曾經(jīng)可以加倍輕松、快捷、經(jīng)濟高效天辦理這些問題。
軟件技術
果蔬分揀機器人結構快遞分揀機器人開辟出可依據(jù)視覺適應其情況的機器人體系須要采取電腦視覺算法，該算法可將一個或多個圖象傳感器中的數(shù)據(jù)轉換成該情況的可履行信息。機器人的兩個罕見使命離別是辨認內部方針跟標的目的，并決意機器人的地位跟標的目的。許多機器人可與一個或多個特定方針停止互動。關于情境自順應機器人而言，必需可能檢測到那些正在未知地址跟標的目的的方針，而且還要相識到這些方針很能夠會挪動。
攝像頭每秒發(fā)生上百萬像素的數(shù)據(jù)，從而造成了一個肩負著繁重處置懲罰承擔的有效載荷。辦理該問題的一種罕見方式是檢測這些多像素的特點，如視頻數(shù)據(jù)每一幀的角、面、邊或線。
圖2：完全處置懲罰二維或三維機器人視覺傳感器的原始輸出波及四個次要階段，每一個階段皆有本人的獨特性并受其處置懲罰要求的制約。
這類像素到特點的轉換可以使正在視覺處置懲罰管道的這個特別階段的數(shù)據(jù)處理需要降低一千倍或更多；上百萬的像素降低成了上百個特點，機器人便可以高效天對方針停止辨認，并肯定其空間特點。
圖3：視覺處理器可以集成多種類型的內核，以知足每一個處置懲罰階段的怪異需要。
方針檢測起首包羅采取機械學習或其他算法與多個特點相結合。然后，經(jīng)由過程應用這些特點的數(shù)據(jù)庫（該數(shù)據(jù)庫依據(jù)特定方針正在分歧角度跟標的目的的大批已收羅圖象天生），用戶可以采取分類器算法運轉并鍛煉機器人精確天辨認每一個新方針。最著名的方針檢測算法之一是Viola-Jonesframework，它采取類Haar的特點跟大批Adaboost分類器。該算法十分擅長于辨認面部，也可經(jīng)過訓練去辨認其他罕見方針。而基于機械學習算法的一大缺陷是：他們須要大批的鍛煉數(shù)據(jù)散，才氣精確天檢測方針。
經(jīng)由過程特點去肯定方針方位須要一種像RANSAC那樣的基于統(tǒng)計的算法。該算法采取一組特點去模擬一個潛伏的方針標的目的，然后肯定幾其他特點得當該模子。存在最大數(shù)目婚配特點的模子對應于被精確辨認的方針標的目的。為了檢測挪動方針，用戶可以將特點辨認與跟蹤算法相結合。一旦一組特點精確天辨認了一個方針，KLT（Kanade-Lucas-Tomasi）或卡爾曼濾波等算法將正在視頻的幀之間跟蹤這些特點的運動軌跡。不管標的目的跟梗阻若何轉變，這些技巧皆是十分靠得住的，由于他們僅須要跟蹤一組最初特點便可勝利。
下面所述算法能夠關于固定式機器人來講充足了。但關于移動機器人來講，借須要采取其他算法才氣使機器人正在其情況中平安天挪動。SLAM是一種可使機器人創(chuàng)立情況輿圖并跟蹤其以后地位的算法。這類算法須要繪制三維情況輿圖。因為有許多深度感到傳感器選件；是以罕見的方式是采取一對被設置成“平面”攝像頭的2D攝像頭，其作用近似于人類視覺體系。
平面攝像頭依賴對極多少，采取一對2D圖象的投射為每一個場景內的每一個面供給3D地位。依據(jù)后面2D概念所提到的，特點可用于檢測3D場景中的無效地位。例如，與平整的墻面比擬，機器人更簡單檢測到桌角的地位。正在給定的地位跟標的目的，機器人可以檢測特點，經(jīng)由過程比力其外部輿圖以肯定其地位并改善輿圖質量。思量到方針時常會挪動，是以靜態(tài)輿圖關于試圖順應其情況的機器人來講，用途沒有年夜。
處理器的取舍
智能圖書分揀機器人設計為了無效天打造出機器人視覺，咱們將所需的處置懲罰步調分為若干階段。特殊是咱們后面所探討的算法，其處置懲罰步調可分為4個階段，依據(jù)處置懲罰要求，每一個階段皆存在怪異的特點與限定。市場中充溢著各種類型的視覺處理器，而且分歧類型的視覺處理器（依據(jù)其機能、功耗、本錢、功用靈活性跟其他因素）能夠得當分歧的算法處置懲罰階段。實際上，視覺處理器芯片能夠集成了多個分歧類型的處理器內核，從而知足多個處置懲罰階段的怪異需要。
a
圖4：視覺處理器芯片能夠集成了多個分歧類型的處理器內核，從而知足多個處置懲罰階段的怪異需要
中國分揀機器人在外國第一個處置懲罰階段包括多種可處置懲罰各類傳感器數(shù)據(jù)處理功用的算法，例如：
●調劑巨細
●色采空間轉換
●圖象扭轉跟翻轉
●來隔行
●色采調劑跟色域映射
●伽瑪校訂，
●對比度加強
正在此階段，每一幀內的每一個像素皆會停止處置懲罰，是以每秒的工作量皆是極大的。正在平面圖像處理時，兩個圖象立體必需同時停止處置懲罰。面向這些操縱的此中一個處置懲罰選項為公用硬件時鐘，有時又被稱為IPU。比來推出的視覺處理器可正在不變的幀速度下同時處置懲罰兩個圖象，每一個圖象的分辨率皆高達2048x1536像素。
全自動分揀機器人怎么用第二個處置懲罰階段將停止特點檢測，正在那一階段，角、邊跟其他顯著圖形區(qū)域將會被提取。這個處置懲罰階段仍正在每一個像素的根底上停止，是以非常適合那些高度并行的架構，但那一階段可處置懲罰加倍龐大的數(shù)學函數(shù)，如一階跟二階導數(shù)。DSP、FPGA、GPU、IPU跟APU皆是常用處置懲罰選項。DSP跟FPGA存在高度的靈活性，是以十分合用于那些沒有成熟跟正在開展的使用。與其他方式比擬，該靈活性雖然帶來了更下的機能，但也帶來更多的功耗跟本錢。
正在靈活性/專用性比最高的取舍是公用IPU或APU，他們特殊合用于視覺處置懲罰使命。它每秒可處置懲罰數(shù)十億的操縱，但因為顛末使用優(yōu)化，它并沒有得當更普遍的功用。靈活性/專用性較為調和的是GPU，GPU過來經(jīng)常呈現(xiàn)正在電腦中，而此刻也嵌入到使用正在智能手機、平板電腦跟其他大批量使用的使用處理器中。
浮點單位計較、SURF（用于快捷顯著面檢測的快捷魯棒特點算法）中的描述符計較跟點云處置懲罰皆十分合用于高度并行的GPU架構。這類算法可運轉正在SIMD矢量處置懲罰引擎（如ARM的NEON或功率架構CPU中的AltiVec功能模塊）上。無論如何，包羅OpenCL跟OpenCV在內的架構跟庫，皆可簡化并放慢軟件開發(fā)，借能夠包羅正在多個內核上對一個使命的各個部門停止分派的才能。
正在第三個圖像處理階段，體系將依據(jù)特點圖對方針停止分類。與之前階段基于像素的處置懲罰方式比擬，這些方針檢測算法以高度非線性的布局跟方法停止數(shù)據(jù)接見。然而，仍需采取壯大的處置懲罰“機制”經(jīng)由過程豐碩的分類數(shù)據(jù)庫去評價多種不同的特性。這類需要非常適合單核跟多核傳統(tǒng)處理器，如基于ARM跟Power架構的RISC設備。這類取舍尺度也一樣合用于第四個圖形處理階段，該階段將經(jīng)由過程多幀跟蹤檢測方針、實行該情況的模塊，并依據(jù)各類情況去評價是不是該當實行舉措。鑒于視覺處置懲罰的數(shù)據(jù)密集型屬性，當評價處理器時，用戶不只應評價內核數(shù)目跟每核速率，還應評價每一個處理器的數(shù)據(jù)處理才能，如內部存儲器總線帶寬。
行業(yè)同盟救濟
因為市場上呈現(xiàn)了機能日漸壯大的處理器、圖象傳感器、存儲器跟其他半導體器件，加上極具魯棒性的算法，將計算機視覺功用整合到普遍的嵌入式體系中變得切實可行。正在這里，“嵌入式體系”指的是基于微處理器的一切體系，而不是一臺通用計算機。是以，嵌入式視覺是指正在嵌入式體系、挪動設備、公用電腦跟云中參加計算機視覺技巧。
嵌入式視覺技巧有潛力撐持大批電子產(chǎn)品，比之前更智能、更敏銳，因此對用戶更有代價。它可以向現(xiàn)有產(chǎn)物增添有用的功用。它可以為硬件、軟件跟半導體的制造商們創(chuàng)始有重大意義的新市場。嵌入式視覺同盟（EmbeddedVisionAlliance）是一個由技巧開發(fā)人員跟提供商構成的全球性組織，致力于使工程師可能將這類潛力轉化為理想。
智能分揀機器人的發(fā)展歷程煤矸石分揀機器人機械手設計快遞分揀機器人哪個好做