学习理论中回归问题的误差估计

应用概率统计　第二十六卷　第三期２０１０年６Ａ　Ｃｈｉｎｅｓｅ　ＪｏｕｒｎＭ　ｏｆ　Ａｐｐｌｉｅｄ　Ｐｒｏｂａｂｉｌｉｔｙ　ａｎｄ　Ｓｔａｔｉｓｔｉｃｓ　Ｖｏ１．２６　Ｎｏ．３　Ｊｕｎ．２０１０　Ｅｒｒｏｒ　Ｅｓｔｉｍａｔｉｏｎ　ｏｆ　Ｒｅｇｒｅｓｓｉｏｎ　Ｐｒｏｂｌｅｍ　ｉｎ　Ｌｅａｒｎｉｎｇ　Ｔｈｅｏｒｙ　ＬＩ　ＰＩＮＯ　（。ｅｐ。ｒｔｍｅ　Ｄ，＾　￡＾ｅｍｎ　ｃｓ，　。。　ｚｆＢ９ｅ　ｏｆ　Ａｒｔｓ。ｎｄ　ｓｃ　ｅ礼ｃｅ，肌。。面礼９，３』２Ｄ。。）　Ａｂｓｔｒａｃｔ　Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｕｎｄｅｒ　ａ　ｇｅｎｅｒａｌ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ　（　一，（　）），ｗｈｅｎ　（　）ｉｓ　ａ　ｃｏｎｔｉｎｕｏｕｓ　ｉｕｎｃｔ　ｏｎ＇　ｅｒｒｏｒ　ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｒｅｇｒｅｓｓｉｏｎ　ｐｒｏｂｌｅｍ　ｉｓ　ｄｉｓｃｕｓｓｅｄ．　Ｋｅｙｗｏｒｄｓ：　Ｅｒｒ０ｒ　ｅｓｔｉｍａｔｉｏｎ，ｒｅｇｒｅｓｓｉｏｎ，ｌｅａｒｎｉｎｇ　ｔｈｅｏｒＹ，ｔａｒｇｅｔ　ｆｕｎｃｔｉｏｎ，ｅｍ　ｍｉｎｉｍｉｚａｔｉｏｎ．　，　．，　ｃａｌ　ｒｉｓ上【　ＡＭＳ　Ｓｕｂｊｅｃｔ　Ｃｌａｓｓｉｉｆｃａｔｉｏｎ：６８Ｔ０５，６２Ｊ０２・　§１．Ｉｎｔｒｏｄｕｃｔｉｏｎ　Ｉｎ　ｔｈｅ　ｒｅｃｅｎｔ　ｙｅａｒｓ，ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ　ｉｓ　ｄｉｓｃｕｓｓｅｄ　ｉｎ　ｌｉｔｅｒａｔｕｒｅｓ・　Ｆｉｒｓｔｌｙ　ｗｅ　ｗｉｌ１　ｇ　Ｖｅ　ｓｏｍｅ　ｂａｓｉｃ　ｃＯｎｃｅｐｔｓ　ｏｆ　ｔｈｅ　ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ．　Ｌｅｔ　Ｘ　ｂｅ　ａ　ｃｏｍｐａｃｔ　ｍｅｔｒｉｃ　ｓｐａｃｅ　ａｎｄ　Ｙ：Ｒ．Ｌｅｔ　ｐ　ｂｅ　ａ　ｕｎｋｎｏｗｎ　ｐｒｏｂａｂ　ｌｉｔｙ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｏｎ　Ｚ：Ｘ×Ｙ　ａｎｄ　＝　）　１：｛（　，　））罂１　ｂｅ　ａ　ｓａｍＰ１ｅｓ，ｉｎｄｅｐｅｎｄｅｎｔｌｙ　ｄｒａｗｎ　ａｃｃｏｒｄｉｎｇ　ｔｏ　Ｐ．　．．　Ｌｅｔ　Ｃ（Ｘ１　ｂｅ　ｔｈｅ　Ｂａｎａｃｈ　ｓｐａｃｅ　ｏｆ　ｃｏｎｔｉｎｕｏｕｓ　ｆｕｎｃｔｉｏｎ　Ｏｉｌ　Ｘ　ｗｉｔｈ　ｔｈｅ　ｎｏｒｍ　ｌＩｏ。　ｓｕｐ　Ｉ　（　）ｌ，ａｎｄ　ｂｅ　ａ　ｃｏｍｐａｃｔ　ｓｕｂｓｅｔ　ｏｆ　Ｃ（ｘ）・　∈ｘ　Ｔｈｅ　ｇ０ａｌ　ｏｆ　ｔｈｅ　ｒｅｇｒｅｓｓｉ０ｎ　ｐｒｏｂｌｅｍ　ｉｓ　ｔｏ　ｉｆｎｄ　ａ　ｆｕｎｃｔｉｏｎ，：ｘ　ｙ（ｂａｓｅｄ　ｏｎ　ｈｅ　ｓａⅡｌｐｌｅｓ），ｗｈｉｃｈ　ｃａｎ　ｐｒｅｄｉｃｔｓ　ｔｈｅ　ｖａｌｕｅ　ｏｆ　ｇｉｖｅｎ　ｚ．Ｔｈｅ　ｐｏｓｓｉｂｌｅ　ｃｈｏｉｃｅｓ　ｏｆ　ｆｕｎｃｔ　ｏｎｓ　ａｒｅ　ａ１１　ｉｎ　ａ　ｆ１ｌｎｃｔｉｏｎ　ｃｌａｓｓ　７＿（ｃａｌｌｅｄ　ｔｈｅ　ｈｙｐｏｔｈｅｓｉｓ　ｓｐａｃｅ　ｆｏｒ　ｔｈｅ　ｒｅｇｒｅｓｓ　ｏｎ　ｐｒｏｂｌｅｎ　．　Ａ　ｑｕａｎｔｉｔａｒｉｖｅ　ｍｅａｓｕｒｅ　ｏｆ　ｈｏｗ　ａｃｃｕｒａｔｅ　ａ　ｆｕｎｃｔｉｏｎ　ｊＰ∈　ａｐｐｒｏｘｉｍａｔｅｓ　Ｙ　ｓ　ｇ　Ｖｅｎ　ｂｙ　ａ　１ｏｓｓ　ｆｕｎｃｔｉ０ｎ　（　一，（　））．　Ｔｈｅ　ｅｒｒｏｒｆｒｉｓｋ）ａｓｓｏｃｉａｔｅｄ　ｗｉｔｈ　ｔｈｅ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ　ｏｆ　ｆ　ｉｓ　ｄｅｆｉｎｅｄ　ｂｙ　’　）：　一　））　Ｔｈｅ　ｔａｒｇｅｔ　ｆｕｎｃｔｉｏｎ　ｆｕ　ｉｎ　７ｔ　ｉｓ　ｄｅｆｉｎｅｄ　ｔｏ　ｂｅ　：　ｇｍｉｎ￣￣ｂ（　一，（　））ｄｐ　（６０８７３２０６，９０８１８０２０）　２６４　应用概率统计　第二十六卷　Ｔｈｅ　ｅｍｐｉｒｉｃａｌ　ｅｒｒｏｒ（ｒｉｓｋ）ａｓｓｏｃｉａｔｅｄ　ｗｉｔｈ　ｔｈｅ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ　ｉｓ　ｄｅｆｉｎｅｄ　ｔｏ　ｂｅ　，）＝　ｍ　一　Ｔｈｅ　ｅｍｐｉｒｉｃａｌ　ｔａｒｇｅｔ　ｆｕｎｃｔｉｏｎ　ｆｚ　ａｓｓｏｃｉａｔｅｄ　ｗｉｔｈ　ｔｈｅ　ｓａｍｐｌｅｓ　＝｛（　，　））．　１∈ｚｍ　ｉｓ　ｄｅｆｉｎｅｄ　。ｂｅ　ｆｚ＝ａｒｇ　ｍｉ　ｎ　Ｅｚ（，）　（ｓｅｅ［１］）．　，∈工’ｈｅ　ｍａｉｎ　ｉｄｅａ　ｏｆ　ｔｈｅ　ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ　ｉｓ　Ｅｍｐｉｒｉｃａｌ　Ｒｉｓｋ　Ｍｉｎｉｍｉｚａｔｉｏｎ．　Ｇｉｖｅｎ　ａ　ｔｒａｉｎｉｎｇ　ｓｅｔ　＝｛ｚｄ　１　ａｎｄ　ａ　ｆｕｎｃｔｉｏｎ　ｓｐａｃｅ　，ｗｅ　ｄｅｆｉｎｅ　ｔｈｅ　Ｅｍｐｉｒｉｃａｌ　Ｒｉｓｋ　Ｍｉｎｉｍｉｚａｔｉｏｎ（ＥＲＭ）ｔｏ　ｂｅ　ａ　ｓｙｍｍｅｔｒｉｃ　ｐｒｏｃｅｄｕｒｅ　ｔｈａｔ　ｓｅｌｅｃｔｓ　ａ　ｆｕｎｃｔｉｏｎ　ｔｈａｔ　ｍｉｎｉｍｉｚｅｓ　ｔｈｅ　ｅｍｐｉｒｉｃａｌ　ｒｉｓｋ　ｏｖｅｒ　ａｌ１　ｆｕｎｃｔｉｏｎｓ．厂∈　，ｔｈａｔ　ｉｓ，　＝ａｒｇ　ｍｉｎ　　（．厂）（ｓｅｅ［２Ｄ・　ｆ　Ｔｈｅ　ｔｈｅｏｒｙ　ｏｆ　ＥＲＭ　ｓｔｕｄｉｅｓ　ｈｏｗ　ｆｚ　ａｐｐｒｏｘｉｍａｔｅｓ　ｗｉｔｈ　ｒｅｓｐｅｃｔ　ｔｏ　ｔｈｅ　ｅｒｒｏｒ　ｔｈｅ　ｔａｒｇｅｔ　ｆｕｎｃｔｉｏｎ　．　Ｔｈｅ　ｃｏｖｅｒｉｎｇ　ｎｕｍｂｅｒ　ｐｌａｙｓ　ａ　ｂｉｇ　ｒｏｌｅ　ｉｎ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ．　Ｆｏｒ　ａ　ｓｕｂｓｅｔ　ｏｆ　ａ　ｍｅｔｒｉｃ　ｓｐａｃｅ　ａｎｄ叩＞０，ｔｈｅ　ｃｏｖｅｒｉｎｇ　ｎｕｍｂｅｒ　（　，叩）ｉｓ　ｄｅｆｉｎｅｄ　ｔｏ　ｂｅ　ｔｈｅ　ｍｉｎｉｍａｌ　ｉｎｔｅｇｅｒ　∈Ｎ　ｓｕｃｈ　ｔｈａｔ　ｔｈｅｒｅ　ｅｘｉｓｔ　ｄｉｓｋｓ　ｗｉｔｈ　ｒａｄｉｕｓ卵ｃｏｖｅｒｉｎｇ　．　Ｆｏｒ　ａ　ｓｕｂｓｅｔ　ｏｆ　ｃｏｎｔｉｎｕｏｕｓ　ｆｕｎｃｔｉｏｎ　ｓｅｔ　ｃ（ｘ）ｏｎ　，ｗｅ　ｄｅｎｏｔｅ　ｂｙ　（　，７７）ｔｈｅ　ｃｏｖｅｒｉｎｇ　ｎｕｍｂｅｒ　ｏｆ　（ｓｅｅ　ｆ１１）．　Ｔｈｅ　ｓａｍｐｌｅ　ｅｒｒｏｒ　ｉｓ　ｄｅｆｉｎｅｄ　ａｓ￡（ｆｚ）一Ｅ（　）．　Ｂｙ　Ｂｅｒｎｓｔｅｉｎ　ｉｎｅｑｕａｌｉｔｉｅｓ，ｕｎｄｅｒ　ｓｑｕａｒｅ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ　（　一　，（　））＝（Ｙ一，（　））　，（１］　ｇａｖｅ　ｔｈｅ　ｆｏｌｌｏｗｉｎｇ　ｒｅｓｕｌｔ．　Ｔｈｅｏｒｅｍ　ｃ【　］Ｌｅｔ　ｂｅ　ａ　ｃｏｍｐａｃｔ　ｓｕｂｓｅｔ　ｏｆ　Ｃ（　），Ｍｏ＞０　ｂｅ　ａ　ｃｏｎｓｔａｎｔ　ａｎｄ　ｆ：Ｘ＿＿÷Ｙ　ｉｓ　ａ　ｆｕｎｃｔｉｏｎ．Ａｓｓｕｍｅ　ｔｈａｔ，ｆｏｒ　ａｌｌ　ｆ∈７＿（，』．厂（　）一ＹＩ　Ｍ０　ａｌｍｏｓｔ　ｅｖｅｒｙｗｈｅｒｅ．　Ｌｅｔ　＝ｓｕｐ（７２（片），ｗｈｅｒｅ　０－２（片）ｉｓ　ｔｈｅ　ｖａｒｉａｎｃｅ　ｏｆ　，ｔｈｅｎ，ｆｏｒ　ａｌｌ￡＞０，　∈　．　ｃ　啦　一　（　，　）唧　一　ｍ￡２　８（４　＋　）　Ｉｎ　ｔｈｅ　ｐｒｅｓｅｎｔ　ｐａｐｅｒ，ｕｎｄｅｒ　ａ　ｇｅｎｅｒａｌ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ　（　一．厂（　）），ｗｈｅｎ　（　）ｉｓ　ｃｏｎｔｉｎ－　ＵＯＵＳ　ｆｕｎｃｔｉｏｎ，ｅｒｒｏｒ　ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｒｅｇｒｅｓｓｉｏｎ　ｐｒｏｂｌｅｍ　ｉｓ　ｄｉｓｃｕｓｓｅｄ．　§２．　Ｍａｉｎ　Ｒｅｓｕｌｔｓ　Ｌｅｔ　ｂｅ　ａ　ｃｏｍｐａｃｔ　ｓｕｂｓｅｔ　ｏｆ　Ｃ（　），ｓｉｎｃｅ￡（ｆｚ）一￡（ｆｎ）＝　（　）一Ｅ　（　）＋　（　）一　ａｒｇｍ，∈￡　（　）＋￡　（　）一￡（　）ａｎｄ　ｆｚ　＝￡（　）一￡（．　）　ｉｎ　　（，）１　ｓ。，Ｅｚ（　）一Ｅ　（　）　０，ｈｅｎｃｅ　Ｅ（　）一Ｃｚ（　）＋Ｅ　（　）一￡（　）　≤ｓｕｐ（ｅ（ｆ）一Ｃｚ（，））＋ｓｕｐ（ｅ　（．厂）一　（．厂））．　ｆｅｎ　ｆｅｎ　第三期　李平：学习理论中回归问题的误差估计　２６５　Ｔｏ　ｐｒｏｖｅ　ｔｈｅ　ｆｏｌｌｏｗｉｎｇ　ｔｈｅｏｒｅｍｓ，ｗｅ　ｆｉｒｓｔ　ｉｎｔｒｏｄｕｃｅ　ａ　Ｌｅｍｍａ．　Ｌｅｍｍａ［　］（Ｔｈｅ　ｂｏｕｎｄｅｄ　ｄｉｆｅｒｅｎｃｅｓ　ｉｎｅｑｕａｌｉｔｙ（ＭｃＤｉａｒｍｉｄ））Ｌｅｔ　Ｘ１，Ｘ２，…，　ｂｅ　ｉｎｄｅｐｅｎｄｅｎｔ　ｒａｎｄｏｍ　ｖａｒｉａｂｌｅｓ　ｔａｋｉｎｇ　ｖａｌｕｅｓ　ｉｎ　ａ　ｓｅｔ　Ｑ　ａｎｄ　ａｓｓｕｍｅ　ｔｈａｔ　ｆ：Ｑ　＿－÷Ｒ　ｓａｔｉｓｆｉｅｓ　ｔｈｅ　ｂｏｕｎｄｅｄ　ｄｉｆｅｒｅｎｃｅ　ｃｏｎｄｉｔｉｏｎ，ｔｈａｔ　ｉｓ，ｆｏｒ　ｅｖｅｒｙ　１　ｉ　ｍ，　ｓｕｐ　Ｊｆ（ｘｌ，．一，Ｘｍ）一ｆ（Ｘｌ，…，Ｘｉ一１，　：，Ｘｉ＋ｌ，…，３Ｃｍ）Ｉ　Ｃｉ，　ｌ，・－－，ｚｍ，　∈Ｑ　一ｍ　ｔｈｅｎ　ｆｏｒ　ｅｖｅｒｙ　ｔ＞０　；　Ｐ｛，（　，…，ｚ　）一Ｅ，（ｚ　，…，　）　ｔ）　ｅｘｐ　一　∑ｃ　Ｊ　＝２亡２　１｝　１　Ｐ｛Ｅ．厂（　，一．，　）一，（ｚ　，…，　）　）　ｅｘｐ　｝・　∑ｃ　Ｊ　一２亡２　１　ｉ：１　Ｔｈｅｏｒｅｍ　２．１　Ｌｅｔ　７－ｉ　ｂｅ　ａ　ｓｕｂｓｅｔ　ｏｆ　Ｃ（　），Ｍ＞０　ｂｅ　ａ　ｃｏｎｓｔａｎｔ　ａｎｄ　：Ｒ　Ｒ＋　ｂｅ　ａ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ．Ｆｏｒ　ａｌｌ　ｆ∈　ｓａｔｉｓｉｆｅｓ　ｌ　（　一．厂（　））一　（　一ｆ（ｘ　））１　Ｍ，ｔｈｅｎ　ｆｏｒ　ｅｖｅｒｙ　Ｅ＞０．ｔｈｅｒｅ　ｈｏｌｄｓ　２仇￡２　Ｐｚｃｚｍ｛ｆ￡（，）一￡　（，）Ｉ　）　１—２ｅｘｐ｛　Ｍ２　Ｐｒｏｏｆ　Ｓｅｔ∈（　）＝　（　一．厂（　ｉ））．Ｓｉｎｃｅ　＋　（　））一　ｚ￣ＥＸｘＹ　ｆ　（　）＋・．．ｓｕｐ　～（　）＋…＋∈（　）＋…＋　（　））　…　ｍ，　ｓｕｐ　∈（　）一∈（ｚ：）　１　Ｉ　（　一　Ｚｌ１－－－，　ｍ，　：∈　×ｙ　ＳＵＰ　Ｚｌ，…，Ｚｍ，　∈ｘ×ｙ　））一　（　一　：））　Ｍ　仃　Ａｐｐｌｙｉｎｇ　Ｌｅｍｍａ，ｆｏｒ　ｅｖｅｒｙ￡＞０，ｗｅ　ｈａｖｅ　Ｐ　Ｔ／ｔ　ｉ　１　－］Ｉ＞￡］．　２　ｅｘｐ｛一　２ｍＥ２）．　Ｈｅｎｃｅ　Ｐ｛Ｉｃ（ｆ）一ｏＣｚ（，）ｌ　￡）　＝Ｐ　墨　￡＿＞１－２　ｅｘｐ｛一　）．　口　２６６　应用概率统计　第二十六卷　Ｔｈｅｏｒｅｍ　２．２　Ｌｅｔ　７－／ｂｅ　ａ　ｃｏｍｐａｃｔ　ｓｕｂｓｅｔ　ｏｆ　Ｃ（　），Ｍ＞０　ｂｅ　ａ　ｃｏｎｓｔａｎｔ　ａｎｄ　：Ｒ－＿÷Ｒ＋ｂｅ　ａ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ．Ｓｕｐｐｏｓｅ　ｔｈａｔ　ｉｓ　ａ　ｃｏｎｔｉｎｕｏｕｓ　ｆｕｎｃｔｉｏｎ，ｆｏｒ　ａｌｌ　ｆ∈７－Ｉ　ｓａｔｉｓｆｙｉｎｇ　Ｊ　（　一，（　））一　（　一ｆ（ｘ　））Ｉ　Ｍ，ｔｈｅｎ　ｆｏｒ　ｅｖｅｒｙ￡＞０，ｔｈｅｒｅ　ｅｘｉｓｔｓ叩＞０，　ｔｈｅｒｅ　ｈｏｌｄｓ　ｚｍ　，）　ｌＥ）　一　（　）ｅＸｐ｛一蒹）　Ｐｒｏｏｆ　Ｓｉｎｃｅ　ｉｓ　ｃｏｎｔｉｎｕｏｕｓ，ｆｏｒ　ｅｖｅｒｙ　ｇ－＞０，ｔｈｅｒｅ　ｅｘｉｓｔｓ　７７＞０，ｗｈｅｎ　ＩＩｆ—ｆＪｌｌ￣　叼，ｔｈｅｒｅ　ｉｓ　ｌ　（　—　））一　（　一　（　））ｌ　・　Ｌｅｔ　Ｎ＝　（　，叩），ａｎｄ　ｃｈｏｏｓｅ｛ｆ…Ｎ：１　Ｃ　７－／ｓｕｃｈ　ｔｈａｔ　ｆｏｒ　ｅｖｅｒｙ　ｆ∈７－Ｉ　ｔｈｅｒｅ　ｉｓ　Ｊ∈｛１，２，…，Ⅳ）ｓａｔｉｓｙｆｉｎｇ　ＩＩｆ—ｆｊｌＩ。。　叩．　Ｈｅｎｃｅ　『￡（．厂）一Ｅ（，ｊ）『　＝Ｉ　一　））一　一　））］ｄ　））一　一　））ｌｄｐ　，　（　）一Ｃｚ（　＝ｆ　１　ｍ　（（　一　（翰））一砂（一　一　一　圳　　训　１　ｍ　Ｉ　（　一　（ｚｉ））一　一　ｉ））ｌ　Ｔｈｕｓ　Ｅ（，）一　（Ｉ厂）ｆ　＝　ＩＥ（．厂）一Ｅ（疗）＋Ｅ（　）一Ｃｚ（　）＋Ｃｚ（　）一Ｃｚ（‘厂）　Ｉ￡（．厂）～￡（　）Ｉ＋ＩＥ（　）一Ｃｚ（　）ｌ＋ｌ￡　（　）一￡ｚ（ｔ厂）　＋　＋Ｉ￡（　）～Ｅ　（ｆｊ）ｌ　舌＋『￡（　）一￡　（　）Ｉ－　Ｔｈｅｒｅｆｏｒｅ　｛ｚ∈ｚ　：ＩＥ（，）一Ｅｚ（，）Ｉ　￡，Ｖ，∈　）ｃ　Ｎ｛ｒ　∈ｚ　：　ＩＥ（　）一Ｅｚ（　）　Ｉ差　Ｉｔ　ｆｏｌｌｏｗｓ　ｔｈａｔ　Ｐ　ｆＬ　ｓｕｐ　，∈　Ｅ（ｆ）－ｅｚ（，）　）　Ｐ￣ｅｚｍ｛ＪＥ（　）　（，Ｊ）ｌ　三）　第三期　李平：学习理论中回归问题的误差估计　２６７　Ｓｅｔ∈（　）＝　（　一ｔ厂（ｚ　））．Ｓｉｎｃｅ　ｓｕ　ｐ∈　ｙ　Ｉ　（∈（ｚ　）＋…＋∈（　ｍ））一　（∈（　）＋・・‘＋∈（　）＋…＋　（　ｍ））　）一∈（　：）￣－－ｓｕｐ　…１，…，ｍ，Ｚ　ｚ￣ＥＸｘＹ　ｓｕｐ　～＝　Ｚｌ，　．Ｚｍ　ｚ￣ＥＸｘＹ　ｍ　Ｉ＠（Ｙｉ—ｆ（ｘｉ））一　（　～，（ｚ：））　＜　＂　Ｍ．　ａｐｐｌｙｉｎｇ　Ｌｅｍｍａ，ｗｅ　ｈａｖｅ　ｃ　主）　ｘｐ｛－　ｘｐ｛－蒹）　Ｃｏｎｓｅｑｕｅｎｔｌｙ，ｆｏｒ　ｅｖｅｒｙ￡＞０，ｔｈｅｒｅ　ｈｏｌｄｓ　ｚｍ　，）＿　，）　＞Ｊ＿１－２　．ｅｘｐ｛一蒹＞．　口　Ｔｈｅｏｒｅｍ　２．３　Ｌｅｔ　ｂｅ　ａ　ｃｏｍｐａｃｔ　ｓｕｂｓｅｔ　ｏｆ　Ｃ（　），Ｍ＞０　ｂｅ　ａ　ｃｏｎｓｔａｎｔ　ａｎｄ　：Ｒ　Ｒ＋ｂｅ　ａ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ．Ｓｕｐｐｏｓｅ　ｔｈａｔ　ｉｓ　ａ　ｃｏｎｔｉｎｕｏｕｓ　ｆｕｎｃｔｉｏｎ，ｆｏｒ　ａｌｌ　ｆ∈７－ｔ　ｓａｔｉｓｆｙｉｎｇ｝砂（　一，（　））一砂（　一ｆ（ｘ　））Ｉ　Ｍ，ｔｈｅｎ　ｆｏｒ　ｅｖｅｒｙ　Ｅ＞０，ｔｈｅｒｅ　ｅｘｉｓｔｓ叩＞０，　ｔｈｅｒｅ　ｈｏｌｄｓ　）　）　１～２　（　）．ｅｘｐ｛一蒜）　Ｐｒｏｏｆ　Ｓｉｎｃｅ　ｉｓ　ｃｏｎｔｉｎｕｏｕｓ，ｆｏｒ　ｅｖｅｒｙ　Ｅ＞０，ｔｈｅｒｅ　ｅｘｉｓｔｓ叩＞０，ｗｈｅｎ　ＩＩｆ一　ＩＩ∞　叼，ｔｈｅｒｅ　ｉｓ　Ｉ砂（　一，（　））一　（　一ｆｊ（　））Ｉ　詈．　７－／ｓｕｃｈ　ｔｈａｔ　ｆｏｒ　ｅｖｅｒｙ　ｆ∈７－Ｉ　ｔｈｅｒｅ　ｉｓ　Ｌｅｔ　Ｎ＝Ⅳ（　，叩），ａｎｄ　ｃｈｏｏｓｅ｛，ｊ｝　１　Ｃ　Ｊ∈｛１，２，…，Ⅳ）ｓａｔｉｓｆｙｉｎｇ　ｌＩｆ—ｆｊｌ１。。　叩．　Ｈｅｎｃｅ　￡（，）一Ｅ（　）　Ｊ　Ｚ　１　（　一　））一　（　一ｆｊ（ｘ））］ｄｐ　ｍ　ｏ　，　Ｅ　（　）～￡　（厂）　Ｔｈｕｓ　￣ｌＥＩ￣（ｙｉ—ｆｊ（ｘｄ）一　（　一　ｉ））】　言・　Ｅ（，）一　（，）＝Ｅ（，）一ｇ（　）＋Ｅ（疗）一　（，Ｊ）＋　（，Ｊ）一　（，）　＋Ｅ（　）一Ｅ　（　）・　２６８　应用概率统计　第二十六卷　Ｔｈｅｒｅｆｏｒｅ　ｚ　Ｅ　Ｚｍ：￣（ｆ）　（，）＞　∈　ｃ　她）　Ｉｔ　ｆｏｌｌｏｗｓ　ｔｈａｔ　Ｐ　∈　ｓｕｐ｛Ｅ（，）一　）　暑Ｎ　ｚｍ　（　）　…。Ｓｅｔ　（　）＝　（　一．厂（　ｉ））．Ｓｉｎｃｅ　ｓｕ　ｐ∈ｘ　ｙ　Ｉ　（∈（　）＋・・‘＋∈（　ｍ））一　（∈（　）＋・・‘＋∈（　）＋…＋∈（　ｍ））　Ｚ　Ｉ，…，Ｚｍ，ｓｕｐ　）一　（　）…ｚ￣ＥＸｘＹ　ｍ　ｓｕＰ　一　一矽（　一　：））　Ｚｌ，…，Ｚｍ，　∈　ｘＹ　＜　Ｍ．　＂　ａｐｐｌｙｉｎｇ　Ｌｅｍｍａ，ｗｅ　ｈａｖｅ　２．　＼、Ｐ　∈ｚｍ｛Ｅｃ　一Ｅ　ｃ　）　ｅｘｐ　４／　１｛＿　８ｍｃＭ２２、）　　．Ｍ２　＂　）＝　ｅｘｐ　２．　＼Ｐ　∈ｚｍ｛￡　（　）一Ｅ（　）　）　ｅｘｐ　４／　ｍＥ２　１　１ｅｘｐ　面　．．——．Ｍ２　＂　）＝　Ｈｅｎｃｅ　Ｐ锄ｍ｛　（，∈　￡（．，）一Ｅ　（，））　三）Ｊ　　（　，叩）ｅｘｐ｛　ｍｃ２　１　ｊ，　Ｐ　ｍ　ｓｕ　ｆｅ　ｐ（一　Ｊ　（　，叼）ｅＸｐ｛一Ｌ　』　）　Ｊ　　Ｔｈｕｓ　ＰｚＥＺｍ｛￡（，２）一Ｅ（　）　Ｅ）　Ｐ锄ｍ（｛　（　（，）　一　（　））　｝Ｕ｛　ｓ　ｕｐ，　（Ｅｚ（，）一￡（，））　））　２／（ｎ　ｅｘｐ｛一　）　第三期　李平：学习理论中回归问题的误差估计　２６９　Ｃｏｎｓｅｑｕｅｎｔｌｙ，ｆｏｒ　ｅｖｅｒｙ　Ｅ＞０，ｔｈｅｒｅ　ｈｏｌｄｓ　Ｐｚｃｚｍ｛Ｅ（　）～Ｅ（　）　￡｝　１—２Ａｒ（￣，叼）－ｅｘｐ｛一　）．　口　Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｗｅ　ｏｂｔａｉｎ　ｔｈｒｅｅ　ｔｈｅｏｒｅｍｓ，ｗｅ　ｎｏｗ　ｃｏｍｐａｒｅ　ｔｈｅ　ｔｈｒｅｅ　ｔｈｅｏｒｅｍｓ　ｗｉｔｈ　ｔｈｅ　Ｔｈｅｏｒｅｍ　ＣＩ１１Ｆｉｒｓｔ　ｔｈｅ　ｃｏｎｄｉｔｉ０ｎｓ　ｏｆ　ｔｈｅ　ｔｈｒｅｅ　ｔｈｅ０ｒｅｍｓ　ａｒｅ　ｗｅａｋｅｒ　ｔｈａｎ　ｃｏｎｄｉｔｉｏｎｓ　ｉｎ　．　ｔｈｅ　Ｔｈｅｏｒｅｍ　ＣＩ　】；ａｎｄ　ｓｅｃｏｎｄ　ｉｎ　ｔｈｅ　Ｔｈｅｏｒｅｍ　ｃ　．ｉｆ　Ｍ０＞０　ｉｓ　ａ　ｍｕｃｈ　ｌａｒｇｅ　ｃｏｎｓｔａｎｔ，　ｔｈｅｎ　ｔｈｅ　ｒｅｓｕｌｔ　ｏｆ　ｔｈｅ　Ｔｈｅｏｒｅｍ　Ｃｔ　ｃａｎ　ｂｅ　ｕｓｅｌｅｓｓＨｏｗｅｖｅｒ，ｉｎ　ｔｈｅ　ｐｒｅｓｅｎｔ　ｐａｐｅｒ，ｗｅ　ｍａｙ　ｃｈｏｏｓｅ　ａ　ｓｕｉｔａｂｌｅ　ｌｏｓｓ　ｆｕｎｃｔｉｏｎ　（　一，（　）），ｔｈｅｎ　Ｍ＞０　ｃａｎ　ｂｅ　ａ　ｍｕｃｈ　ｓｍａｌｌ　ｃｏｎｓｔａｎｔ，　ａｎｄ　ｔｈｅ　ｒｅｓｕｌｔｓ　ｏｆ　ｔｈｅ　ｔｈｅｏｒｅｍｓ　ｉｎ　ｔｈｅ　ｐａｐｅｒ　ｃａｎ　ｂｅ　ｕｓｅｆｕ１．　Ａｃｋｎｏｗｌｅｄｇｅｍｅｎｔｓ　Ｔｈｅ　ａｕｔｈｏｒ　ｗｏｕｌｄ　ｌｉｋｅ　ｔｏ　ｔｈａｎｋ　Ｐｒｏｆｅｓｓｏｒ　Ｗａｎｇ　Ｊｉｎｇ　Ｌｏｎｇ　ｏｒ　ｈｊｆｓ　ａｓｓｉｓｔａｎｃｅ．　Ｒｅｆｅｒｅｎｃｅｓ　…Ｃｕｃ￣ｒ，Ｆ．ａｎｄ　Ｓｍａｌｅ，Ｓ．，Ｏｎ　ｔｈｅ　ｍａｔｈｅｍａｔｉｃａｌ　ｆｏｕｎｄａｔｉｏｎｓ　ｏｆ　ｌｅａｒｎｉｎｇ，Ｂｕｌ１．Ａｍｅｒ．Ｍａｔｈ．Ｓｏｃ．，　３９（２００１），１＿４９．　【２】Ｖａｐｎｉｋ，Ｖ．，Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　Ｔｈｅｏｒｙ，Ｊｏｈｎ　Ｗｉｌｅｙ　ａｎｄ　Ｓｏｎｓ，Ｎｅｗ　Ｙｏｒｋ，１９９８．　［３］ＤｅＶｉｔｏ，Ｅ．，Ｃａｐｏｎｎｅｔｔｏ，Ａ．ａｎｄ　Ｒｏｓａｓｃｏ，Ｌ．，Ｍｏｄｅｌ　ｓｅｌｅｃｔｉｏｎ　ｆｏｒ　ｒｅｇｕｌａｒｉｚｅｄ　ｌｅａｓｔ—ｓｑｕａｒｅｓ　Ｍｇｏｒｉｔｈｍ　ｉｎ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ，Ｆｏｕｎｄ．Ｃｏｍｐｕｔ．Ｍａｔｈ．，￣（２００５），５９－８５．　【４】Ｄｅｖｒｏｙｅ，Ｌ．，ＧｙＳｒｉｆ，Ｌ．ａｎｄ　Ｌｕｇｏｓｉ，Ｇ．，Ａ　Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｔｈｅｏｒｙ　ｏｆＰａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，ｓｐｒｉｎｇｅｒ＿Ｖｅｒｌａｇ，　ＮｅｗＹｏｒｋ，１９９６．　【５】ＭＣＤｉａｒｍｉｄ，Ｃ．，Ｏｎ　ｔｈｅ　Ｍｅｔｈｏｄ　ｏｆ　Ｂｏｕｎｄｅｄ　Ｄｉｆｅｒｅｎｃｅｓ，ｉｎ　Ｓｕｒｖｅｙｓ　ｉｎ　Ｃｏｍｂｉｎａｔｏｒｉｃｓ，Ｃａｍｂｒｉｄｇｅ　Ｕｎｉｖｅｒｓｉｔｙ　Ｐｒｅｓｓ，Ｃａｍｂｒｉｄｇｅ，１９８９．　【６］Ｔａｌａｇｒａｎｄ，Ｍ．，Ｓｈａｒｐｅｒ　ｂｏｕｎｄｓ　ｆｏｒ　Ｇａｕｓｓｉａｎ　ａｎｄ　ｅｍｐｉｒｉｃａｌ　ｐｒｏｃｅｓｓｅｓ，Ａｎｎａｌｓ　ｆＰｒｏｂｏａｂｉｌｉｔｙ，２２（１９９４），　２８　７６．　【７】Ｗｕ，Ｑ．，Ｙｉｎｇ，Ｙ．ａｎｄ　Ｚｈｏｕ　Ｄ．Ｘ．，Ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ：ｆｒｏｍ　ｒｅｇｒｅｓｓｉｏｎ　ｔｏ　ｃｌｓｓｉａｉｆｃａｔｉｏｎ，Ｓｔｕｄｉｅｓ讥　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｍａｔｈｅｍａｔｉｃｓ，１２（２００６），２５７～２９０．　［８　Ｄｅｖｏｔ８］ｅ，Ｒ．，Ｋｅｒｋｙａｃｈａｒｉａｎ，Ｇ．，Ｐｉｃａｒｄ，Ｄ．ａｎｄ　Ｔｅｍｌｙａｋｏｖ，Ｖ．，Ａｐｐｒｏｘｉｍａｔｉｏｎ　ｍｅｔｈｏｄｓ　ｆｏｒ　ｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ，Ｆｏｕｎｄ．Ｃｏｍｐｕｔ．Ｍａｔｈ．，６（２００６），３－５８．　学习理论中回归问题的误差估计　李　平　（绍兴文理学院数学系，绍兴，３１２０００）　本文在一般的损失函数　（　一，（ｚ））下，当　（ｚ）连续时，讨论了学习理论中回归问题的误差估计　关键词：误差估计，回归，学习理论，目标函数，经验风险最小化．　学科分类号：Ｏ２１１．４．