簡易檢索 / 詳目顯示

回結果列表
研究生： 吳俊錫
CHUN-HSI WU
論文名稱： 立體視覺導引之互動式雙臂機器人
Stereo Vision Interactive Dual Arms Robot
指導教授： 黃緒哲
Shiuh-Jer Huang
口試委員: 吳忠霖
John-Ling Wu
周瑞仁
Jui-jen Chou
學位類別： 碩士
Master
系所名稱： 工程學院 - 機械工程系
Department of Mechanical Engineering
論文出版年： 2011
畢業學年度： 99
語文別： 中文
論文頁數： 132
中文關鍵詞： 立體視覺 、視差圖 、雙臂仿人型機器人 、機器人互動控制
外文關鍵詞： Stereo Vision, Disparity Map, Mobile robot, Humanoid robot, Interactive robot control
相關次數： 點閱：233  下載：8 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報

    • 本文主要研究在於視覺伺服與機器人運動平台之整合已建立機器人與環境互動能力。所提出之視覺演算法可找出影像感測器可視範圍內之物體三維座標與形狀大小資訊，結合實驗室自製之移動式雙臂仿人型機器人平台，以建立一個可與環境互動之智慧型機器人系統。信號與控制為結合數位訊號處理器(DSP)與現場可程式邏輯閘陣列(FPGA)之雙核心架構，以達成平行處理運算及分散式系統架構之優點。
    立體視覺是利用雙眼視覺取得環境之視差圖(Disparity Map)後配合立體對應處理，即可估測出影像內物體之三維座標與物體之長寬高資訊;機械手臂之運動控制則採用不需系統模型之滑動模糊控制器(FSMC)，兩輪之結合可以達成機器人在未知環境中,智慧型互動功能。由實驗結果可得知本研究所提出之視覺演算法有不錯的辨識能力，而FSMC在機械手臂之運動控制上亦有良好的控制效果,在未知環境下取出物體座標資訊誤差約在10 %左右，機械手臂各軸皆有0.05°以內之誤差精度。兩者之整合可令此移動機器人俱備與環境互動之智慧功能

    The main research of thesis is the integration of visual servo and the robotic motion platform to establish the robotic interaction ability to environment. The proposed stereo vision algorithm can detect object from the sensor visual range of unknown environment and estimate the 3D coordinates、size and shape information .This stereo vision system is integrated with a Lab made mobile humanoid robot for constructing an intelligent robotic system. The digital signal processor (DSP) is employed to execute the stereo image processing and field programmable gate array (FPGA) is used to monitor robot motion control, for achieving parallel processing and distributed control system architecture.
    Stereo vision system based on disparity map of environment to execute the corresponding stereo matching operation for obtaining the 3D coordinates、size and shape information. The model-free sliding mode fuzzy controller (FSMC) is employed to design the robot arm and platform motion control system. Both distributed system are integrated to construct the proposed low cost interaction ability intelligent robotic system within unknown environment. Experimental results show that the proposed stereo vision algorithms have good recognition ability and accuracy to reach 10 % error of the 3D coordinates information. The FSMC motion control algorithm can manipulate this humanoid robot each joint motion with joint angular error less than 0.05 °. Both system integration can achieve an intelligent mobile robot system with unknown environment integration capability.

    摘要 I Abstract II 誌謝 III 目錄 IV 圖目錄 VIII 表目錄 XIII 第一章 緒論 1 1.1 前言 1 1.2 文獻回顧 2 1.3 研究動機與目的 5 第二章 系統架構 6 2.1 系統簡介 6 2.2 視覺系統運算平台（Vision System） 8 2.2.1 C6416 DSK發展板 9 2.2.2 影像感測器（Image Sensor） 10 2.2.3 影像擷取及傳輸電路系統（Extract & Transmit Board） 11 2.2.4 頭部機構（Head Assembly Construct） 12 2.3 運動控制運算平台（Motion Control System） 13 2.3.1 Nios II發展板 14 2.3.2 馬達驅動電路（Driver board） 15 2.3.3 輪型移動式雙臂機器人 16 第三章 移動式雙臂機器人運動學理論分析 18 3.1 連桿座標系統與其參數 19 3.2 機械手臂運動學分析 21 3.2.1 正向運動學 23 3.2.2 反向運動學 24 3.3 梯型速度規劃 28 3.4 移動平台 33 第四章 立體視覺系統 34 4.1 IIC通訊介面 36 4.2 CMOS影像傳輸時序控制 38 4.3 影像擷取及傳輸電路系統 40 4.4 影像擷取及傳輸電路系統 41 4.5 色彩內插還原 43 4.6 影像灰階化 45 4.7 扭曲校正 46 4.8 等極線平行校正 48 4.9 影像降維 50 第五章 未知環境內之目標物偵測 51 5.1 影像處理演算法流程 53 5.2 未知環境下物體偵測 55 5.2.1 視差圖 ( Disparity Map ) 56 5.2.2 形態學處理（Morphological Processing） 59 5.2.3 框取未知物體（Locate Unknown Object） 62 5.3 校正已框選物體座標 65 5.3.1 高斯平滑濾波器（Gaussian Smooth Filtering） 66 5.3.2 邊緣檢測（Edge Detection） 67 5.3.3 自動二值化（Automation Binarization） 68 5.3.4 完成修正框選區域（Finish Locate Image Block Inpainting） 69 5.4 立體視覺與座標估測 70 5.4.1 立體對應（Stereo Matching） 73 5.4.2 景深估測（Depth of Field Estimation） 75 5.4.3 三維座標計算（Calculate 3D Coordinate） 77 第六章 機器人運動控制與策略 81 6.1 模糊滑動模式控制 82 6.2 機器人控制策略 86 6.2.1 計算追/避物角度 89 6.2.2 移動至工作空間 91 6.2.3 避障移動至目標物 93 第七章 實驗結果與討論 94 7.1 影像分析實驗 95 7.1.1 視覺系統參數 95 7.1.2 視覺系統效能分析 97 7.1.3 偵測未知物體實驗 98 7.2 運動控制實驗 106 7.2.1 模糊滑動模式控制器之實現 106 7.2.2 單軸步階響應 108 7.2.3 點對點運動控制 112 7.3 影像整合運動控制實驗 117 7.3.1 未知環境內避障與目標物抓取 117 7.3.2 未知環境內找尋與追蹤目標物 119 7.3.3 未知環境內追尋目標並與環境整合互動 120 7.4 實驗結果討論 121 第八章 結論與未來展望 122 8.1 結論 122 8.2 未來展望 123 參考文獻 124 作者簡歷 132

    【1】 Y. Shirai and H. Inoue, “Guiding a Robot by Visual Feedback Assembling Tasks”, Pattern Recognition Pergamon Press 1973. Vol. 5, pp. 99-108. Printed in Great Britain Pattern Recognition Pergamon Press 1973. Vol. 5, pp. 99-108. Printed in Great Britain
    【2】 J. Hill and W. T. Park, “Real Time Control of a Robot with a Mobile Camera”, Proceedings of the 9th ISIR, Washington, D.C., pp. 222-246, 1979.
    【3】 “A computational investigation into the human representation and processing of visual information” (ISBN 0-7167-1567-8); David Marr ,1982
    【4】 Takeo Kanade, Atsushi Yoshida, Kazuo Oda, Hiroshi Kano and Masaya Tanaka, “A Stereo Machine for Video-rate Dense Depth Mapping and Its New Applications,” Proceedings of the 15th Computer Vision and Pattern Recognition Conference (ICVPR '96), June, pp. 196-202, 1996.
    【5】 Kurt Konolige, “Small Vision Systems: Hardware and Implementation,” In Proceedings of the 8th International Symposium in Robotic Research, pp. 203–212. Springer-Verlag, 1997.
    【6】 Masatoshi Okutomi and Takeo Kanade, “A Multiple-Baseline Stereo,” IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 15, No. 4, April, pp. 353-363, 1993.
    【7】 K. H. Bae, J. S. Koo and E. S. Kim,“A New Stereo Object Tracking System using Disparity Motion Vector,” Optics Communications, Vol. 221, pp. 23-35, 2003.
    【8】 Kuo, C.-M.; Hsieh, C.-H.; Lin, H.-C.; Lu, P.-C., ”Motion estimation algorithm with kalman filter,” Electronics Letters, Vol.30, pp.1204-1206 , 1994.
    【9】 Akio Yoneyama, Yasuyuki Nakajima, Hiromasa Yanagihara and Masaru Sugano, “Moving Object Detection from MPEG Video Stream,” IEICE Transactions, vol. J 81-D-II, No. 8, pp. 1776-1786, Aug. 1998.
    【10】 錢鉦津, “模糊控制之立體影追蹤系統,” 中原大學機械工程研究所, 碩士學位論文, 2005.
    【11】 P. KaewTraKulPong, and R. Bowden, “An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection,” Proc. 2nd European Workshop on Advanced Video Based Surveillance Systems, Vol. 25, 2001.
    【12】 Y. Ren, C. S. Chua, and Y. K. Ho, “Statistical background modeling for non-stationary camera,” Pattern Recognition Letters, Vol. 24, pp. 183-196, 2003.
    【13】 B. Shoushtarian, and H. E. Bez, “A practical adaptive approach for dynamic background subtraction using an invariant colour model and object tracking,” Pattern Recognition Letters, Vol. 26, No. 1 pp. 5-26, 2005.
    【14】 Jae-Soo Lee, Choon-Weon Seo and Eun-Soo Kim, “Implementation of opto-digital stereo object tracking system, ”Optics Communications, vol. 200, pp. 73-85, 2001.
    【15】 Alan J. Lipton, Hironobu Fujiyoshi and Raju S. Patil, “Moving target classification and tracking form real-time video,” In Proc. IEEE Image Understanding Workshop, pp. 129-136, 1998.
    【16】 陳彥良, ”即時立體視覺物體追蹤系統,” 中原大學機械工程研究所, 碩士學位論文, 2003.
    【17】 郭泓棚, “ 空間域影像景深估測與移動物體偵測規避之研究,” 朝陽科技大學資訊工程系, 碩士學位論文, 2003
    【18】 Andrea Bonarini, Paolo Aliverti, and Michele Lucioni, “An Omnidirectional Vision Sensor for Fast Tracking for Mobile Robots”, IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, VOL. 49, NO. 3, JUNE 2000.

    【19】 Chung-Hsien Kuo, Yu-Lin Tsai, Fang-Chun Huang and Ming-Yih Lee, “Development of Image Servo Tracking Robot for the Surgical Space Positioning System”, 2004 IEEE International Conference on Systems, Man and Cybernetics
    【20】 Zhang Hai-bo, Yuan Kui, LrU Jin-dong, “A Fast and Robust Vision System for Autonomous Mobile Robots“, Proceedings of the 2003 IEEE, International Conference on Robotics, Intelligent Systems and Signal Processing.
    【21】 Chengjun Ding , Genqun Cui , Minglu Zhang , Ping Duan, “Mobile Robot’s Road Following Based on Color Vision and FGA Control Strategy”, Proceedings of the 6th World Congress on Intelligent Control and Automation, June 21 - 23, 2006, Dalian, China.

    【22】 Xiusong Yang and Abdelhamid Tayebi, “Vision based trajectory tracking controller for a B21R mobile robot”, International Conference on Intelligent Robots and Systems October 9 - 15, 2006, Beijing, China.
    【23】 張維軒, “以色彩為基礎的即時物件辨識系統應用於人形機器人視覺 ”, 碩士論文, 淡江大學電機工程學系碩士班, 2007.
    【24】 陳浥菁, “自走車DSP嵌入式影像系統之研究”, 碩士論文, 國立成功大學工程科學研究所, 2003.

    【25】 Abdul Bais1 and Robert Sablatnig, “Landmark Based Global Self-localization of Mobile Soccer Robots”, Pattern Recognition and Image Processing Group, Institute of Computer Aided Automation, Vienna University of Technology, Vienna, Austria.
    【26】 翟必君, “基於立體視覺之行動機器人的室內環境避障”, 碩士論文, 國立臺灣科技大學資訊工程研究所, 2007.
    【27】 任紹棟, “具立體視覺測距之移動機器人”, 碩士論文,國立臺灣科技大學電機工程系, 2004.
    【28】 Kohtaro Sabe, Masaki Fukuchi, Jens-Steffen Gutmann, Takeshi Ohashi, Kenta Kawamoto, and Takayuki Yoshigahara, “Obstacle Avoidance and Path Planning for Humanoid Robots using Stereo Vision”, * Life Dynamics Laboratory Preparatory Office, ** Networked CE Development Laboratories, *** Broadband Applications Laboratories, Sony Corporation, Tokyo, Japan, FTocedlngs ofthe 2004 IEEE, Intunatlonal Conhnnm on RoboUa a AutOmatlon, New Orleans, LPI - Aprll2004.
    【29】 Chyi-Yeu Lin, Yi-Pin Chiu, “The DSP Based Catcher Robot System with Stereo Vision”, Proeedings of the 2008 IEEE/ASME International Conference on Advanced Intelligent Mechatronics July 2 - 5, 2008, Xi'an, China.
    【30】 Dong Min Kim, Ho Jin Choi, Jeong Seob Kim, Woon Kyu Lee, Duck Hui Song, “Tracking Control of a Moving Object for Robokers with Stereo Visual Feedback”, Proceedings of the 2007 IEEE International Conference on Integration Technology March 20 - 24, 2007, Shenzhen, China.
    【31】 Huahua Chen, Zezhong Xu, “3D Map Building Based on Stereo Vision”.
    【32】 Elfes, A.; , "Using occupancy grids for mobile robot perception and navigation ," Computer , vol.22, no.6, pp.46-57, Jun 1989.
    【33】 Shigang Wang, Xuejun Wang, Hexin Chen, “A Stereo Video Segmentation Algorithm Combining Disparity Map and Frame Difference”, Proceedings of 2008 3rd International Conference on Intelligent System and Knowledge Engineering.
    【34】 Nikolay Chumerin, Marc M. Van Hulle, “Ground Plane Estimation Based on Dense Stereo Disparity”, The Fifth International Conference on Neural Networks and Artificial Intelligence May 27-30, Minsk, Belarus.
    【35】 ALTERA, “Altera Embedded Peripherals,” ALTERA Corporation, 2005.
    【36】 http://www.national.com/pf/LM/LMD18200.html, 2006.
    【37】 Mark W. Spong, Seth Hutchinson, M. Vidyasagar, “Robot Modeling and Control” Wiley | 2005 | ISBN: 0471649902 | 496 pages.
    【38】 http://www.esacademy.com/faq/i2c/I2C_Bus_specification.pdf, 2006
    【39】 應福仁, “DSP即時影像系統開發與移動目標物量測之應用”, 國立台灣科技大學機械工程研究所, 碩士學位論文, 2008.
    【40】 黃建誠, “具DSP即時立體視覺導引之雙臂機器人控制” , 國立台灣科技大學機械工程研究所, 碩士學位論文, 2009.
    【41】 Jan T. Bosiers, Agnes C. Kleimann, Harry C. Van Kuijk, Laurent Le Cam, Herman L. Peek, Joris P. Maas and Albert J. P. Theuwissen, “Frame Transfer CCDs for Digital Still Cameras: Concept, Design, and Evaluation,” IEEE Trans. On electron devices, Vol. 49, NO. 3, MAR. 2002.
    【42】 Luis Alvarez, Luis Gomez and Rafael Sendra, An Algebraic Approach to Lens Distortion by Line Rectification, Journal of Mathematical Imaging and Vision, vol. 35, no 1, pp. 36 - 50, September 2009.
    【43】 Stephen S. Intille and Aaron F. Bobick, “Disparity-Space Images and Large Occlusion Stereo”, M.I.T. Media Lab Perceptual Computing Group Technical Report No. 220, Condensed version appears in ECCV '94 proceedings, Stockholm, Sweden.
    【44】 R.A. Haddad and A.N. Akansu, "A Class of Fast Gaussian Binomial Filters for Speech and Image Processing," IEEE Transactions on Acoustics, Speech and Signal Processing, vol. 39, pp 723-727, March 1991. NOBUYUKI OTSU, “A Threshold Selection Method from Gray-Level Histograms”, IEEE TRANSACTIONS ON SYSTREMS, MAN, AND CYBERNETICS, VOL. SMC-9, NO. 1, JANUARY 1979.
    【45】 Nobuyuki Otsu, “A Threshold Selection Method from Gray-Level Histograms”, IEEE Transactions on systems, man, and cyberneyics, VOL. SMC-9, NO. 1, JANUARY 1979.
    【46】 Kikuhito Kawasue and Takakazu Ishimatsu, “3-D Measurement of Moving Particles by Circular Image Shifting,” IEEE Transactions on Industrial Electronics, vol. 44, pp. 703-706, 1997.
    【47】 Jigui Zhu, Yanjun Li and Shenghua Ye, “Design and calibration of a single-camera-based stereo vision sensor,” Optical Engineering, v 45, n 8, p 083001, August, 2006.
    【48】 張忠誠，林鎮洲，王榮華與鄭慕德, ”遠端操控水下機械臂系統應用於水下施工作業之技術研發,” 工程科技通訊., vol.75, pp.114-120, 2004.
    【49】 陳文志, ”影像3D空間座標定位系統之研發,” 國立中央大學機械工程研究所, 碩士學位論文, 2000.
    【50】 Jae-Soo Lee, Choon-Weon Seo and Eun-Soo Kim, “Implementation of opto-digital stereo object tracking system, ”Optics Communications, vol. 200, pp. 73-85, 2001.
    【51】 吳智逸, “可規劃晶片具立體視覺導引之機械手臂伺服控制,” 國立台灣科技大學機械工程研究所, 碩士學位論文, 2007.
    【52】 Shiuh-Jer Huang Ph.d, “Intelligent Control System”
    【53】 S. W. Kim, and J. J. Lee, “Design of a fuzzy controller with fuzzy sliding surface,” Fuzzy Sets and Systems, Vol.71, pp.359-367, 1995.
    【54】 R. Palm, “Sliding mode fuzzy control,” IEEE Int. Conference Fuzzy System, San Diego, CA, pp.519-526, Mar. 1992.
    【55】 L. X. Wang, “Stable adaptive fuzzy control of nonlinear systems,” IEEE Trans. Fuzzy System, vol.1, pp.146-155, 1993.
    【56】 R. Palm, “Robust control by fuzzy sliding mode,” Automatica, Vol.30, No.9, pp.1429-1437, 1994.
    【57】 S.C. Lin, and Y.Y. Chen, “Design of adaptive fuzzy sliding mode control for nonlinear system control,” in Proc. 3rd IEEE Conf. Fuzzy Syst., IEEE World congress Computat. Intell., Orlando, FL, Vol.1, pp.35-39, June 1994.
    【58】 Yager, R.R. and Filev, D. P., Essentials of fuzzy modeling and control, John Wiley and Sons, New York, 1994.
    【59】 Yi, S.Y. and Chung, M.J., “Robustness of Fuzzy Logic Control for an Uncertain Dynamic System,” IEEE Trans. on Fuzzy Systems, Vol.6, No.2, May 1998.
    【60】 巫憲欣, “以系統晶片發展具機器視覺之機械手臂運動控制,” 碩士論文, 國立台灣科技大學機械工程系, 2006.
    【61】 黃國希, “雙層振動系統之控制,” 碩士論文, 國立台灣科技大學機械工程系, 1999.
    【62】 林威成, “主動式車輛懸吊系統之控制器設計,” 碩士論文, 國立台灣科技大學機械工程系, 2000.
    【63】 謝欣瑋, “氣壓平台之運動控制,” 碩士論文, 國立台灣科技大學機械工程系, 2000.
    【64】 蔡金波, “機器人於自動化組裝之應用,” 碩士論文, 國立台灣科技大學機械工程系, 2003
    【65】 蘇明田, “光碟機控制器之設計應用,” 碩士論文, 國立台灣科技大學機械工程系, 2004.
    【66】 王振權, “單向加熱器溫度系統之控制器設計,” 碩士論文, 國立台灣科技大學機械工程系, 2005.
    【67】 王世賢, “長行程奈米定位系統之控制器設計,” 碩士論文, 國立台灣科技大學機械工程系, 2005.
    【68】 林淑怡, “X-Y精密定位平台於彩色濾光片影像對位控制之應用,” 碩士論文, 國立台灣科技大學機械工程系, 2006.
    【69】 C. C. Kung, and S. C. Lin, “A fuzzy-sliding mode controller design,” IEEE International Conference on Systems Engineering, pp.608–611, 17-19 Sep 1992.
    【70】 T.C. Chen, and J.U. Hsu, “A fuzzy sliding mode controller for induction motor position control,” IECON '94, 20th International Conference on Industrial Electronics, Control and Instrumentation, Vol. 1, pp. 44-49, 5-9 Sep 1994.
    【71】 J. Denavit and R.S. Hartenberg. A kinematic notation for lower-pair mechanisms based on matrices. Trans ASME J. Appl. Mech, 23; 215-221,1955
    【72】 劉軒, “具立體視覺之移動式仿人型機器人,” 碩士論文, 國立台灣科技大學機械工程系, 2010.

    QR CODE