簡易檢索 / 詳目顯示

回結果列表
研究生： 林于崴
Yu-wei Lin
論文名稱： 具立體視覺之全向移動式雙臂機器人
Omni-directional Mobile Dual Arms Robot with Stereo Vision
指導教授： 黃緒哲
Shiuh-jer Huang
口試委員: 周瑞仁
Jui-jen Chou
吳忠霖
John-ling Wu
學位類別： 碩士
Master
系所名稱： 工程學院 - 機械工程系
Department of Mechanical Engineering
論文出版年： 2012
畢業學年度： 100
語文別： 中文
論文頁數： 149
中文關鍵詞： 立體視覺 、雙臂仿人型機器人 、全向式移動平台 、機器人互動控制
外文關鍵詞： Stereo Vision, Dual arms Humanoid robot, Omni-directional mobile platform, Interactive robot control
相關次數： 點閱：295  下載：8 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報

    • 本研究將全向式移動平台整合於具立體視覺導引的雙臂機器人，使機器人在空間中具有高自由度的移動能力，配合所提出之立體視覺演算法在影像感測器可視範圍內偵測未知環境中之物體，並結合仿人型雙臂機器人以建立一個可與環境互動之智慧型機器人系統。影像演算與運動控制分別利用數位訊號處理器（DSP）與現場可程式邏輯閘陣列（FPGA）做為控制平台，以達成平行處理運算及分散式系統架構之優點。
    立體視覺是透過視差圖（Disparity Map）的建立，框選出未知物體於影像中之圖面座標，經雙眼影像立體對應即可估測出物體之三維座標與物體尺寸資訊。機械手臂之運動控制採用不需系統模型之滑動模糊控制器（FSMC）;全向移動式平台則使用基於PID之灰預測（Grey Predict）控制器對平台進行時變速度控制。
    由實驗結果可得知本研究所提出之視覺演算法有不錯的辨識能力，在未知環境下計算出物體座標資訊誤差約為10 %左右；FSMC在機械手臂之定位控制可達各軸0.05°以內之誤差精度，點對點控制終端器誤差約為0.2 mm；以基於PID之灰預測模型控制全向式移動平台速度，使其在直走自旋並受干擾測試下誤差仍可控制在1.5 cm/s以下，並透過各種軌跡規劃，驗證了全向式移動平台對於直線、圓形與8字型的追蹤控制效果相當不錯。最後透過立體影像系統與運動控制系統之整合驗證了此全向移動式雙臂機器人俱備與環境做智慧型互動之功能，包含未知環境中追蹤目標物、躲避障礙物與抓取未知物。

    In this research, the omni-directional mobile platform was combined with a dual arms robot and stereo vision system to improve the robot interaction and moving ability. The proposed stereo vision algorithm can be used to detect unknown object from its sensor visual range for constructing an intelligent robotic system interaction ability to environment. The distributed control architecture architecture with digital signal processor (DSP) and field programmable gate array (FPGA) are employed to execute the image processing and robotic motion control respectively.
    Stereo vision system can use the disparity map of environment to locate the image coordinate of unknown object and execute corresponding stereo matching operation for obtaining the object 3D coordinates and size information. The model-free sliding mode fuzzy controller (FSMC) is employed to control each robotic arm position. The grey prediction PID controller is employed to control the time varying velocity of mobile platform.
    Experimental results show that the proposed stereo vision algorithm has good recognition ability and can derive the unknown object 3D coordinates information with 10% error. The FSMC controller for each joint control of humanoid robot can reach joint angular error less than 0.05° and the end-effector position error less than 0.2 mm during point to point operation. The grey prediction PID control algorithm can achieve the velocity error less than 1.5 cm/s for this omni-directional mobile platform to track a straight line, circle and “8” shaped paths. Finally, the integration of stereo system and robotic motion control system can achieve an intelligent mobile robot for interaction with unknown environment. It can detect the unknown target, avoid the unknown obstacle and approach to catch the object.

    摘要 I Abstract II 誌謝 IV 目錄 V 圖目錄 IX 表目錄 XV 第一章 緒論 1 1.1 前言 1 1.2 文獻回顧 2 1.3 研究動機與目的 5 第二章 系統架構 6 2.1 系統簡介 6 2.2 視覺系統（Vision System） 8 2.2.1 C6416 DSK發展板 9 2.2.2 影像感測器（Image Sensor） 10 2.2.3 影像擷取及傳輸電路系統（Extract & Transmit Board） 11 2.3 運動控制系統 (Motion Control System) 12 2.3.1 Nios II發展板 13 2.3.2 馬達驅動板（Motor Driver Board） 14 2.4 全向移動式雙臂機器人 15 第三章 全向移動式雙臂機器人運動學分析 18 3.1 雙臂機器人運動學分析 19 3.1.1 連桿座標系統與機械手臂參數 19 3.1.2 正向運動學 23 3.1.3 反向運動學 24 3.1.4 梯型速度規劃 28 3.2 全向式移動平台運動學分析 33 3.2.1 移動平台運動模型推導 33 3.2.2 移動平台姿態估測 35 3.2.3 移動平台軌跡規劃 36 A. 直線 36 B. 圓 37 C. 橢圓 37 D. 二次曲線 38 第四章 立體視覺系統 40 4.1 影像感測器硬體設定 42 4.1.1 IIC通訊介面（Inter-Integrated Circuit） 42 4.1.2 CMOS影像傳輸時序控制 43 4.1.3 影像擷取及傳輸電路 45 4.1.4 影像感測器視野量測 46 4.2 原始影像前處理程序 48 4.2.1 原始影像修補（Fix Raw Data） 49 4.2.2 色彩內插還原（Color Interpolation Restore） 51 4.2.3 影像灰階化（Image Gray Scale） 53 4.2.4 等極線平行校正（Epipolar Line Rectification） 54 4.2.5 影像降維（Image Downsize） 55 4.3 未知物體偵測 56 4.3.1 視差圖（Disparity Map） 57 4.3.2 二值化（Binarization） 60 4.3.3 形態學處理（Morphological Processing） 61 4.3.4 框選未知物體（Locate Unknown Object） 63 4.4 校正已框選之物體 66 4.4.1 高斯平滑慮波（Gaussian Smooth Filtering） 66 4.4.2 邊緣檢測（Edge Detection） 68 4.4.3 自動二值化（Automated Binarization） 69 4.4.4 完成修正框選區域（Finish Located Image Block Inpainting） 70 4.5 立體視覺與座標估測 71 4.5.1 立體對應（Stereo Matching） 72 4.5.2 景深估測（Depth of Field Estimation） 74 4.5.3 計算三維座標（Calculate 3D Coordinate） 75 第五章 機器人運動控制與策略 79 5.1 模糊滑動模式控制 80 5.2 基於PID之灰色預測控制 84 5.2.1 灰生成 85 5.2.2 灰建模 85 5.3 機器人控制策略 88 5.3.1 計算追/避物角度 90 5.3.2 避障移動至目標物 92 5.3.3 移動至抓取目標物工作空間 93 第六章 實驗結果與討論 95 6.1 影像分析實驗 96 6.1.1 視覺系統參數 96 6.1.2 俯視偵測未知物體實驗 98 6.1.3 平視偵測未知物體實驗 101 6.2 運動控制實驗 105 6.2.1 模糊滑動模式控制器之實現 105 6.2.2 機械手臂點對點運動控制 107 6.2.3 基於PID之灰色預測控制器之實現 112 6.2.4 全向輪步階響應 113 6.2.5 全向式移動平台性能控制 115 6.2.6 全向式移動平台軌跡追蹤控制 130 A. 直線自轉追蹤控制 130 B. 圓形公轉追蹤控制 131 C. 圓形公轉且自轉追蹤控制 132 D. 8字型追蹤控制 133 6.3 影像整合運動控制實驗 135 6.3.1 未知環境內追蹤移動目標物 135 6.3.2 未知環境內躲避移動障礙物 136 6.4 實驗結果與討論 137 第七章 結論與未來展望 138 7.1 結論 138 7.2 未來展望 139 參考文獻 140 作者簡歷 149

    【1】 J. Hill and W. T. Park, “Real Time Control of a Robot with a Mobile Camera”, Proceedings of the 9th ISIR, Washington, D.C., pp. 222-246, 1979.
    【2】 Zhang Hai-bo, Yuan Kui, LrU Jin-dong, “A Fast and Robust Vision System for Autonomous Mobile Robots“, Proceedings of the 2003 IEEE, International Conference on Robotics, Intelligent Systems and Signal Processing.
    【3】 Chengjun Ding , Genqun Cui , Minglu Zhang , Ping Duan, “Mobile Robot’s Road Following Based on Color Vision and FGA Control Strategy”, Proceedings of the 6th World Congress on Intelligent Control and Automation, June 21 - 23, 2006, Dalian, China.
    【4】 Xiusong Yang and Abdelhamid Tayebi, “Vision based trajectory tracking controller for a B21R mobile robot”, International Conference on Intelligent Robots and Systems October 9 - 15, 2006, Beijing, China.
    【5】 Takeo Kanade, Atsushi Yoshida, Kazuo Oda, Hiroshi Kano and Masaya Tanaka, “A Stereo Machine for Video-rate Dense Depth Mapping and Its New Applications,” Proceedings of the 15th Computer Vision and Pattern Recognition Conference (ICVPR '96), June, pp. 196-202, 1996.
    【6】 Kurt Konolige, “Small Vision Systems: Hardware and Implementation,” In Proceedings of the 8th International Symposium in Robotic Research, pp. 203–212. Springer-Verlag, 1997.
    【7】 Masatoshi Okutomi and Takeo Kanade, “A Multiple-Baseline Stereo,” IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 15, No. 4, April, pp. 353-363, 1993.
    【8】 K. H. Bae, J. S. Koo and E. S. Kim,“A New Stereo Object Tracking System using Disparity Motion Vector,” Optics Communications, vol. 221, pp. 23-35, 2003.
    【9】 Kuo, C.-M.; Hsieh, C.-H. Lin, H.-C.; Lu, P.-C., ”Motion estimation algorithm with kalman filter,” Electronics Letters, Vol.30, pp.1204-1206 , 1994.
    【10】 Akio Yoneyama, Yasuyuki Nakajima, Hiromasa Yanagihara and Masaru Sugano, “Moving Object Detection from MPEG Video Stream,” IEICE Transactions, vol. J 81-D-II, No. 8, pp. 1776-1786, Aug. 1998.
    【11】 Berthold, Brian G.S. , “Determining Optical Flow,” Artificial Intelligence 17, pp. 185-203, 1981.
    【12】 Takashi F., Eihan S. and Morito T., “A Comparative Study on Gradient-Based Approaches for Optical Flow Estimation,” International Archives of Photogrammetry and Remote Sensing. Vol. XXXIII, Part B5. Amsterdam , 2000.
    【13】 P. KaewTraKulPong, and R. Bowden, “An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection,” Proc. 2nd European Workshop on Advanced Video Based Surveillance Systems, Vol. 25, 2001.
    【14】 Y. Ren, C. S. Chua, and Y. K. Ho, “Statistical background modeling for non-stationary camera,” Pattern Recognition Letters, Vol. 24, pp. 183-196, 2003.
    【15】 B. Shoushtarian, and H. E. Bez, “A practical adaptive approach for dynamic background subtraction using an invariant colour model and object tracking,” Pattern Recognition Letters, Vol. 26, No. 1 pp. 5-26, 2005.
    【16】 Jae-Soo Lee, Choon-Weon Seo and Eun-Soo Kim, “Implementation of opto-digital stereo object tracking system, ”Optics Communications, vol. 200, pp. 73-85, 2001.
    【17】 Alan J. Lipton, Hironobu Fujiyoshi and Raju S. Patil, “Moving target classification and tracking form real-time video,” In Proc. IEEE Image Understanding Workshop, pp. 129-136, 1998.
    【18】 陳彥良, ”即時立體視覺物體追蹤系統,” 中原大學機械工程研究所, 碩士學位論文, 2003.
    【19】 郭泓棚, “ 空間域影像景深估測與移動物體偵測規避之研究,” 朝陽科技大學資訊工程系, 碩士學位論文, 2003.
    【20】 Y.Y. Hu, K.H. Huang, H.M. Chan, C.H. Hung, and C.C. Wong, “Behaviors Design for Vision-based Humanoid Robot,” SICE Annual Conference, pp. 2287-2290, Taipei, Taiwan, August 2010.
    【21】 P.Yang, D. Xu, Z. Zhang, G. Chen, and M. Tan, “A Vision System with Multiple Cameras Designed for Humanoid Robots to Play Table Tennis,” IEEE International Conference on Automation Science and Engineering Trieste, Italy, August, 2011.
    【22】 余建良, “互動雙足式機器人之設計與實現(III)互動演算法執行,” 國立中央大學電機工程研究所, 碩士學位論文, 2008.
    【23】 梁婷婷, “立體視覺雙手臂機器人之自主任務執行,” 國立中興大學電機工程研究所, 碩士學位論文, 2010.
    【24】 蔡明哲, “具娛樂與管家功能之智慧型人型機器人,” 國立台灣海洋大學電機工程研究所, 碩士學位論文, 2008.
    【25】 H. Chen, Z. Xu, “3D Map Building Based on Stereo Vision,” Networking, Sensing and Control, IEEE International Conference, pp. 969-973, 2006.
    【26】 Shigang Wang, Xuejun Wang, Hexin Chen, “A Stereo Video Segmentation Algorithm Combining Disparity Map and Frame Difference”, Proceedings of 2008 3rd International Conference on Intelligent System and Knowledge Engineering.
    【27】 Nikolay Chumerin, Marc M. Van Hulle, “Ground Plane Estimation Based on Dense Stereo Disparity”, The Fifth International Conference on Neural Networks and Artificial Intelligence May 27-30, Minsk, Belarus.
    【28】 F. G. Pin and S. M. Killough, “A New Family of Omni-directional and　Homonymic wheeled platforms for mobile robots,” IEEE Transactions on　Robotics and Automation, vol.10, pp.480-489, August 1994.
    【29】 Y. Liu, X. Wu, J. J. Zhu and J. Lew, “Omni-Directional Mobile Robot Controller Design by Trajectory Linearization,” IEEE Proc. of the American Control Conf., June 2003, Vol. 4, pp. 3423-3428.
    【30】 W. K. Loh, K. H. Low and Y. P. Leow, “Mechatronics Design and Kinematic Modeling of a Singularityless Omni-directional Wheeled Mobile Robot,” IEEE Int. Conf. on Robotics and Automation, September 2003, Vol. 3, pp. 3237-3242.
    【31】 B. Carter, M. Good, M. Dorohoff, J. Lew, R. L. Williams II, and P.Gallina, “Mechanical Design and Modeling of an Omni-Directional Robocup Player,” in Proc. Robocup 2001 International Symposium.
    【32】 D. Stonier, S.-H. Cho, S.-L. Choi, N. S. Kuppuswamy, and J.-H. Kim,“Nonlinear Slip Dynamics for an Omniwheel Mobile Robot Platform,”IEEE Int. Conf. on Robotics and Automation (ICRA), Roma, Italy,pp. 2367-2372, 2007.
    【33】 R. Balakrishna and A. Ghosal, “Modeling of Slip for Wheeled Mobile　Robots,” IEEE Trans. on Robotics and Automation, Vol. 11, No. 1, pp.126-132, 1995.
    【34】 莊仁豪, “全向式三輪機器人之動力學模式與適應控制設計,” 國立中興大學機械工程研究所, 碩士學位論文, 2008.
    【35】 L.Huang, Y.S. Lim, D Li, and C.E.L. Teoh, “Design and analysis of a Four-wheel omnidirectional mobile robot,” 2nd International Conference on Autonomous Robots and Agents, pp. 425-428, Palmerston North, New Zealand, 2004
    【36】 S.Fujisawa, M.Ryuman, T. Yamamoto, H. Sogo, Y. Suita, T. Yoshida, “Development of Path Tracking Control for Omni-Directional Mobile Robot using Visual Servo System The”, 27th Annual Conference of the IEEE Industrial Electronics Society, pp. 2166-2170, 2010.
    【37】 A.S. Conceicao, H.P. Oliveira, A.S. Silva, D. Oliveira, and A.P. “MoreiraNonlinear Model Predictive Control of anOmni-Directional Mobile Robot, ” Industrial Electronics, IEEE International Symposium, pp. 2161-2166, 2007.
    【38】 http://www.ti.com/lit/ds/symlink/max232.pdf
    【39】 ALTERA, “Altera Embedded Peripherals,” ALTERA Corporation, 2005.
    【40】 http://www.national.com/pf/LM/LMD18200.html, 2006.
    【41】 Mark W. Spong, Seth Hutchinson, M. Vidyasagar, “Robot Modeling and Control” Wiley | 2005 | ISBN: 0471649902 | 496 pages.
    【42】 http://www.esacademy.com/faq/i2c/I2C_Bus_specification.pdf, 2006
    【43】 應福仁, “DSP即時影像系統開發與移動目標物量測之應用”, 國立台灣科技大學機械工程研究所, 碩士學位論文, 2008.
    【44】 黃建誠, “具DSP即時立體視覺導引之雙臂機器人控制” , 國立台灣科技大學機械工程研究所, 碩士學位論文, 2009.
    【45】 PAS6311 Specification, Pixart Image Inc., Dec 2006.
    【46】 PAS6311 Application Notes, Pixart Image Inc., Dec 2006.
    【47】 Jan T. Bosiers, Agnes C. Kleimann, Harry C. Van Kuijk, Laurent Le Cam, Herman L. Peek, Joris P. Maas and Albert J. P. Theuwissen, “Frame Transfer CCDs for Digital Still Cameras: Concept, Design, and Evaluation,” IEEE Trans. On electron devices, Vol. 49, No. 3, MAR. 2002.
    【48】 Stephen S. Intille and Aaron F. Bobick, “Disparity-Space Images and Large Occlusion Stereo”, M.I.T. Media Lab Perceptual Computing Group Technical Report No. 220, Condensed version appears in ECCV '94 proceedings, Stockholm, Sweden.
    【49】 R.A. Haddad and A.N. Akansu, "A Class of Fast Gaussian Binomial Filters for Speech and Image Processing," IEEE Transactions on Acoustics, Speech and Signal Processing, vol. 39, pp 723-727, March 1991. NOBUYUKI OTSU, “A Threshold Selection Method from Gray-Level Histograms”, IEEE TRANSACTIONS ON SYSTREMS, MAN, AND CYBERNETICS, VOL. SMC-9, NO. 1, JANUARY 1979.
    【50】 Nobuyuki Otsu, “A Threshold Selection Method from Gray-Level Histograms”, IEEE Transactions on systems, man, and cyberneyics, VOL. SMC-9, NO. 1, JANUARY 1979.
    【51】 Jae-Soo Lee, Choon-Weon Seo and Eun-Soo Kim, “Implementation of opto-digital stereo object tracking system, ”Optics Communications, vol. 200, pp. 73-85, 2001.
    【52】 Shiuh-Jer Huang Ph.d, “Intelligent Control System”
    【53】 S. W. Kim, and J. J. Lee, “Design of a fuzzy controller with fuzzy sliding surface,” Fuzzy Sets and Systems, Vol.71, pp.359-367, 1995.
    【54】 R. Palm, “Sliding mode fuzzy control,” IEEE Int. Conference Fuzzy System, San Diego, CA, pp.519-526, Mar. 1992.
    【55】 L. X. Wang, “Stable adaptive fuzzy control of nonlinear systems,” IEEE Trans. Fuzzy System, vol.1, pp.146-155, 1993.
    【56】 R. Palm, “Robust control by fuzzy sliding mode,” Automatica, Vol.30, No.9, pp.1429-1437, 1994.
    【57】 S.C. Lin, and Y.Y. Chen, “Design of adaptive fuzzy sliding mode control for nonlinear system control,” in Proc. 3rd IEEE Conf. Fuzzy Syst., IEEE World congress Computat. Intell., Orlando, FL, Vol.1, pp.35-39, June 1994.
    【58】 Yager, R.R. and Filev, D. P., Essentials of fuzzy modeling and control, John Wiley and Sons, New York, 1994.
    【59】 Yi, S.Y. and Chung, M.J., “Robustness of Fuzzy Logic Control for an Uncertain Dynamic System,” IEEE Trans. on Fuzzy Systems, Vol.6, No.2, May 1998.
    【60】 巫憲欣, “以系統晶片發展具機器視覺之機械手臂運動控制,” 碩士論文, 國立台灣科技大學機械工程系, 2006.
    【61】 黃國希, “雙層振動系統之控制,” 碩士論文, 國立台灣科技大學機械工程系, 1999.
    【62】 林威成, “主動式車輛懸吊系統之控制器設計,” 碩士論文, 國立台灣科技大學機械工程系, 2000.
    【63】 謝欣瑋, “氣壓平台之運動控制,” 碩士論文, 國立台灣科技大學機械工程系, 2000.
    【64】 蔡金波, “機器人於自動化組裝之應用,” 碩士論文, 國立台灣科技大學機械工程系, 2003
    【65】 蘇明田, “光碟機控制器之設計應用,” 碩士論文, 國立台灣科技大學機械工程系, 2004.
    【66】 王振權, “單向加熱器溫度系統之控制器設計,” 碩士論文, 國立台灣科技大學機械工程系, 2005.
    【67】 王世賢, “長行程奈米定位系統之控制器設計,” 碩士論文, 國立台灣科技大學機械工程系, 2005.
    【68】 林淑怡, “X-Y精密定位平台於彩色濾光片影像對位控制之應用,” 碩士論文, 國立台灣科技大學機械工程系, 2006.
    【69】 C. C. Kung, and S. C. Lin, “A fuzzy-sliding mode controller design,” IEEE International Conference on Systems Engineering, pp.608–611, 17-19 Sep 1992.
    【70】 T.C. Chen, and J.U. Hsu, “A fuzzy sliding mode controller for induction motor position control,” IECON '94, 20th International Conference on Industrial Electronics, Control and Instrumentation, Vol. 1, pp. 44-49, 5-9 Sep 1994.
    【71】 Deng Julong, “Control problems of Grey System, ”System and Control Letters, Vol. 5, pp. 288-294, 1982.
    【72】 鄧聚龍,“灰色控制系統,”華中理工大學出版社, 中國武漢, 1984
    【73】 H.-K. Chiang, C.H. Tseng, “Designed and　Implementation of a Grey Sliding Mode Controller for Synchronous　Reluctance Motor Drive,” Control Engineering practice, pp. 155-163, 2004.
    【74】 Z.X. Xiao, H.W. Fang,”Speed Control of Brushless DC Motor With Grey Predictor,” Apperceiving Computing and Intelligence Analysis, International Conference, pp. 395-398, 2009.
    【75】 S.J. Huang, and C.L. Huang, “Control of an Inverted Pendulum Using Grey Prediction Model,” IEEE Transction on Industry Applications, Vol. 36, No. 2, March/April, 2000.
    【76】 Dong-Feng, Pu Han, Zeng-Zhou Jia, Wang, Ning-Ling Wang , “Grey Fuzzy Sliding Mode Control for Uncertain Systems, “Proceedings of the Third Intemationd Conference on Machine Leaming and Cyhemetics, Shanghai, 26-29 August 2004
    【77】 J. Deng, Five step modeling of grey systems, Grey System, China Ocean Press,
    【78】 J. Deng, Grey forecasting control, Grey System, China Ocean Press, 1988.

    QR CODE