簡易檢索 / 詳目顯示

研究生: 劉羽書
Yu-shu Liu
論文名稱: 以粒子群演算法自動調校最小二乘支援向量機分類之參數
Tuning the parameters of Least Squares Support Vector Machine using Particle Swarm Optimization
指導教授: 楊亦東
I-Tung Yang
口試委員: 周瑞生
Jui-Sheng Chou
嚴崇一
Chung-I Yen
學位類別: 碩士
Master
系所名稱: 工程學院 - 營建工程系
Department of Civil and Construction Engineering
論文出版年: 2014
畢業學年度: 102
語文別: 中文
論文頁數: 97
中文關鍵詞: 資料探勘最小二乘支援向量機粒子群演算法盈虧分類工程顧問公司
外文關鍵詞: Data Mining, Least Squares Support Vector Machines(LS-SVM), Particle Swarm Optimization(PSO), Gains and losses classification, Engineering Consulting firm
相關次數: 點閱:319下載:9
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 由於現代資訊科技的工具與技術發展相當普及,較具規模之工程顧問公司均已建構工程專案結案資料庫。這些寶貴的資料除作為記錄外更可以加值應用於公司未來的經營管理。本研究嘗試以資料探勘技術(Data Mining)協助工程顧問公司利用歷史資料建構專案盈虧預測模式。在資料探勘的分析過程中,本研究選擇以最小二乘支援向量機方法(Least Squares Support Vector Machines)為基礎,不過支援向量機的參數調整一直是許多文獻探討的問題,以試誤法來挑選參數相當耗時,因此本研究輔以粒子群演算法(Particle Swarm Optimization)來最佳化支援向量機的參數。
    本研究使用某工程顧問公司的資料,將該工程顧問公司在過去十二年的已結案之監造案件資料先進行整理。並藉由逐步迴歸方法(Stepwise Regression)以及與該公司成員討論之結果,選擇要放入資料探勘模式中之屬性。本研究建立粒子群演算法調校最小二乘支援向量機之參數的模式,並將其應用於工程顧問公司的實際案例中。建構二分類模型也建構多分類模型,亦即預測專案的盈虧分類以及專案盈虧分類之等級。最後並與對照組網格搜索(Grid Search)最小二乘支援向量機參數之模式與類神經網路(Artificial Neural Network)進行比較,粒子群演算法在準確率以及Kappa統計量都優於其他兩個對照組,獲得不錯的效果。


    The advancement of information technology has encouraged engineering consulting firms to store historical project data for future reference. Such data may be transformed into useful information to help the firms gain competitive edge. The present study proposes a data mining model to predict the result of new coming projects (capital gains or losses) based on historical project data. Specifically, the proposed model uses Particle Swarm Optimization (PSO) to automatically fine-tune the parameters of Least Squares Support Vector Machine (LS-SVM).
    The proposed model is demonstrated by analyzing the data set collected from a large engineering consulting firm. The set includes 177 projects that focus on construction observation between 1999 and 2011. Several meetings with the targeted firm are held to identify important predictors. The number of predictors is reduced by the analysis of stepwise regression while the variance inflation factors are checked to ensure no significant collinearity among predictors. The proposed model can be used to perform binary classification and multi-class classification. The performance of the proposed model is measured in terms of prediction accuracy and Kappa statistics. The proposed model is shown to be superior to Artificial Neural Network (ANN) and an ordinary alternative: using grid search to fine-tune LS-SVM.

    中文摘要 英文摘要 誌謝 目錄 圖目錄 表目錄 第一章 緒論 1.1 研究背景與動機 1.2 研究目的 1.3 研究方法與流程 1.4 論文架構 第二章 文獻回顧 2.1工程顧問公司概述 2.2 資料探勘概述 2.3資料探勘文獻回顧 2.4 主題背景或問題相關之文獻 第三章 研究方法 3.1 支援向量機 SVM 3.1.1 支援向量機概述 3.1.1.1線性支援向量機 3.1.1.2非線性支援向量機 3.1.2 最小二乘支援向量機LS-SVM 3.1.3 小結 3.2 類神經網路 3.3 粒子群最佳化演算法 3.4 PSO調校SVM參數 3.4.1 交叉驗證 3.4.2二類分類 3.4.3 多元分類 3.4.3.1 一對多 3.4.3.2 一對一 3.4.3.3二元決策樹 3.4.3.4 有向非循環圖 3.4.3.5 粒子群演算法與LS-SVM多分類流程 3.5 網格搜索 3.6 田口式實驗設計法 第四章 案例說明 4.1 收集與整理資料 4.2 逐步迴歸 4.3 田口式實驗設計法選擇參數 4.4 驗證 4.4.1 混淆矩陣 4.5 支援向量機預測結果分析 4.5.1 二元分類支援向量機預測結果 4.5.2 多元分類支援向量機預測結果 第五章 結論與建議 5.1 結論 5.2 未來研究方向 參考文獻

    【1】行政院公共工程委員會,「工程技術顧問公司管理條例」,1993
    【2】李志宏,「大型工程顧問公司與縣市政府關係行銷成功關鍵因素之研究-以國內某大型工程顧問公司為例」,世新大學,碩士論文,2008
    【3】工程會及臺灣營建研究院,「行政院公共工程委員會之工程顧問服務業資訊網」
    【4】工程會及臺灣營建研究院,,「行政院公共工程委員會之工程顧問服務業資訊網,工程顧問服務業100年度業務統計分析暨網頁內容更新計畫」,2011
    【5】行政院公共工程委員會,「機關委託技術服務廠商評選及計費辦法:附表一、建築物工程技術服務建造費用百分比上限參考表.doc」
    【6】行政院公共工程委員會,「機關委託技術服務廠商評選及計費辦法:附表四、工程專案管理(含監造)技術服務建造費用百分比上限參考表.doc」
    【7】Pang-Ning Tan,Michael Steinbach,Vipin Kumar,“Introduction to Data Mining”,2005
    【8】張云濤、龔玲,「資料探勘原理與技術」,五南出版社,ISBN:9789571146768,2007
    【9】廖述賢、溫志皓,「資料探勘理論與應用:以IBM SPSS Modeler為範例」,博碩出版社,ISBN:9789862015483,2011
    【10】Michael J. A. Berry,Gordon S. Linoff,“Data Mining Techniques For Marketing Sales and Customer Relationship Management”,Second Edition, 2004
    【11】Jiawei Han, Micheline Kamber, Jian Pei,“Data Mining Concepts and Techniques”,Second Edition, 2006
    【12】Rakesh Agrawal,Ramakrishnan Srikant ,“Fast Algorithms for Mining Association Rules in Large Databases ,VLDB, pp. 487-499, 1994
    【13】陳勇汀,「政大圖檔所,陳勇汀整理的序列分析簡介」:http://pulipuli.blogspot.tw/2010/12/sequential-analysis-introduction.html
    【14】Roger Bakeman,John M. Gottman,“Observing Interaction:An Introduction to Sequential Analysis ”,Second Edition,1997
    【15】呂奇傑,「支援向量機於資料探勘中分類模式之應用」,產業管理創新研討會論文,2005
    【16】魏逢佑,「應用支援向量機於盈餘管理之預測與影響因素分析」,國立臺灣大學管理學院會計學研究所,碩士論文,2009
    【17】Wei-Sen Chen,Yin-Kuan Du,“Using neural networks and data mining techniques for the financial distress prediction model ”, Journal of Expert Systems with Applications, Vol.36 , No.2 , pp. 4075-4086, 2009
    【18】謝宗融,「應用柔性演算法建構整合型之預測與分類系統」,國立清華大學,博士論文,2011
    【19】I-Tung Yang, Yi-Hung Hsieh,“Reliability-based design optimization with cooperation between support vector machine and particle swarm optimization”,Journal of Engineering with Computers , Vol.29 , No.2 , pp. 151-163, 2012
    【20】Shu-Hsien Liao,Pei-Hui Chu,Pei-Yuan Hsiao,“Data mining techniques and applications–A decade review from 2000 to 2011”, Journal of Expert Systems with Applications, Vol. 39 , No. 12 , pp. 11303-11311,2012
    【21】Hsu-Hao Tsai,“Global data mining:An empirical study of current trends, future forecasts and technology diffusions”, Journal of Expert Systems with Applications, Vol.39, No. 9, pp. 8172-8181, 2012
    【22】Hsu-Hao Tsai,“Knowledge management vs. data mining:Research trend, forecast and citation approach”, Journal of Expert Systems with Applications, Vol. 40, No.8, pp. Pages 3160-3173, 2013
    【23】邱淑華,「工程顧問工作性質、機制與績效」,國立成功大學,碩士論文,2002
    【24】王景南,「多類支向機之研究」,元智大學資訊管理研究所,碩士論文,2003
    【25】林諺熙,「應用支撐向量機法於保險詐欺之預判」,國立成功大學,碩士論文,2005
    【26】林冠中,「漸進式支持向量機於人臉辨識之應用」,國立成功大學資訊工程學系,碩士論文,2005
    【27】「加州大學歐文分校機器學習數據庫: UC Irvine Machine Learning Repositoryhttp」,http://archive.ics.uci.edu/ml/index.html
    【28】段建帆,「支援向量機之最佳化參數與屬性篩選之分散式資料探勘系統—以粒子群最佳化演算法為基礎」,華梵大學資訊管理學系,碩士論文,2005
    【29】郭新辰,「最小二乘支持向量機算法及應用研究」,吉林大學,博士論文,2008
    【30】Li-mei LIU, An-na WANG, Mo SHA, Feng-yun ZHAO,“Multi-Class Classification Methods of Cost-Conscious LS-SVM for Fault Diagnosis of Blast Furnace”, Journal of Iron and Steel Research International, Vol. 18, No.10, pp. 17-23, 33 , 2011
    【31】劉京禮,「魯棒最小二乘支持向量機研究與應用」,經濟管理出版社, 2012
    【32】Corinna Cortes, Vladimir Vapnik,“Support-vector networks”, Journal of Machine Learning,Vol. 20, No. 3, pp. 273-297, 1995
    【33】謝宜宏,「離散型可靠度最佳化設計之單目標與多目標演算架構」,國立台灣科技大學,博士論文,2012
    【34】廖國偉,「統計學習理論課程講義」,2013
    【35】陳士杰,「國立聯合大學資訊管理系-機器學習課程講義」,http://sjchen.im.nuu.edu.tw/ML_final.html
    【36】Souza,Cesar R. ,“Kernel Functions for Machine Learning Applications”,
    http://crsouza.blogspot.tw/2010/03/kernel-functions-for-machine-learning.html
    【37】Toby Segaram ,“ Programming Collective Intelligence” ,First Edition., 2007
    【38】葉清江,齊德彰,何秉劼,「結合變數篩選之最小平方支援向量機於財務危機預警模型之研究」,中華民國資訊管理學會研討會論文集,第3108-3122頁,2012
    【39】J. A. K. Suykens,“ Least Squares Support Vector Machines”, ISBN :9812381511 , 2002
    【40】“LS-SVMlab toolbox v1.8”, http://www.esat.kuleuven.be/sista/lssvmlab/ , 2011
    【41】De Brabanter K., Karsmakers P.,Ojeda F.,Alzate C.,De Brabanter J.,Pelckmans K.,De Moor B.,Vandewalle J., Suykens J.A.K. ,“LS-SVMlab Toolbox User's Guide version 1.8”, 2011
    【42】David E. Rumelhart,Geoffreye. Hinton,Ronald J. Williams,“Learning representations by back-propagating errors”, Nature Publishing Group,pp.323,533-536,1986
    【43】尹相志,「SQL Server 2008 Data Mining 資料採礦」,悅知文化,ISBN-13:9789866761768 ,2009
    【44】葉怡成,「類神經網路模式應用與實作」,儒林圖書有限公司,ISBN:9789574998630,9版1刷,2009
    【45】F. Heppner, U. Grenander ,“ A stochastic nonlinear model for coordinated bird flocks”, pp. 233-238, 1990
    【46】James Kennedy ,Russell Eberhart ,“Particle Swarm Optimization”, Journal of Neural Networks, IEEE International Conference, Vol.4 , pp. 1942-1948 , 1995
    【47】James Kennedy,Russell Eberhart ,“A New Optimizer Using Particle Swarm Theory”, Journal of Micro Machine and Human Science,MHS '95.,Proceedings of the Sixth International Symposium on, pp.39-43, 1995
    【48】楊亦東,「計算智慧於工程上的應用課程講義」,2012
    【49】Kaibo Duan,S.Sathiya Keerthi,Aun Neow Poo,“Evaluation of Simple Performance Measures for Tuning SVM Hyperparameters”, Department of Mechanical Engineering, National University of Singapore, 10 Kent Ridge Crescent, 119260 Singapore, 2001
    【50】蕭慧德,「演化式支援向量機於企業危機診斷之研究」,國立成功大學,博士論文,2009
    【51】Cheng-Lung Huang,Chieh-Jen Wang,“A GA-Based feature selection and parameters optimization for support vector machines”, Journal of Expert Systems with Applications, Vol. 31, pp. 231-240,2006
    【52】鄭乃揚,田英杰,「支持向量機:理論、算法與拓展」,科學出版社,ISBN:9787030250315,2009
    【53】白鵬,張喜斌,張斌等人,「支持向量機理論及工程應用實例」,西安電子科技大學出版社,ISBN:9787560620510, 2008
    【54】Chih-Wei Hsu,Chih-Jen Lin.,“A Comparison of Methods for Multiclass Support Vector Machines”, IEEE Transactions on Neural Networks , Vol. 13 , No. 2,2002
    【55】黃仁鵬,「南台科技大學,資料探勘網站」,http://faculty.stust.edu.tw/~jehuang/DMCourse/index.html
    【56】楊子毅,「應用粒子群演算法調校層級分析法之權重矩陣以協助選商決策」,國立台灣科技大學,碩士論文,2010
    【57】田口玄一,「田口實驗設計法」,滄海書局,1995
    【58】李輝煌,「田口方法:品質設計的原理與實務」,高立圖書有限公司,ISBN:9789864126668,2010
    【59】陳順宇,「迴歸分析:SPSS、STATISTICA軟體操作」,美國普渡大學,ISBN:9789574159888,2009
    【60】謝中華,「MATLAB統計分析與應用:40個案例分析」,北京航空航天大學出版社,ISBN:9787512400849,2010
    【61】魏巍,「MATLAB應用數學工具箱技術手冊」,國防工業出版,ISBN:9787118032062,2004
    【62】吳明隆,涂金堂,「SPSS 與統計應用分析」,二版,五南出版社,ISBN:9789571141732,2012
    【63】「銘傳大學應用統計資訊學系網站的電子化教材」,http://www.mcu.edu.tw/department/management/stat/ch_web/etea.html
    【64】Jiawei Han,Micheline Kamber,Jian Pei,“Data Mining:Concepts and Techniques”,Third Edition,2011
    【65】Ian H. Witten,Eibe Frank,“Data Ming Practical Machine Learning Tools and Techniques”,Second Edition,ISBN:9780120884070,2005
    【66】Julius Sim,Chris C Wright ,“The kappa statistic in reliability studies:use,interpretation,and sample size requirements”, Journal of Physical Therapy, Vol.85, No.3, pp. 257-268, 2005, http://physicaltherapyjournal.com/content/85/3/257.full
    【67】Landis JR,Koch GG.,“The measurement of observer agreement for categorical data”, pp.165, 1977

    QR CODE