1.回归方程
由于x是可控的非随机变量, 而Y 是一个与x有关的随机变量,因此,直接研究变量Y与x之间的相关关系是困难的. 如果注意到随机变量Y的数学期望反映了随机变量Y的平均取值,因此, 可考虑研究EY与x之间的关系. 这时,EY往往是x的某个函数,即
于是我们可以用一个确定的函数关系
大致描述Y与x之间的变化规律.函数μ(x)称为Y关千x 的回归函数,方程(5. 2)称为Y关于x 的回归方程.回归方程反映了Y的数学期望EY随x变化而变化的规律性. 下面我们通过研究回归函数μ(x)来达到探讨Y与x之间相关关系的目的
一般说来,从任意的x的函数中找出回归函数μ(x )是困难的, 通常的做法是限制μ(x)为某一类型的函数. 函数μ(x)的类型可以由与被研究问题的本质有关的物理假设来确定.如果没有任何理由可以确定μ(x)的类型,则我们只能根据在试验结果中得到的散点图来x确定,在确定了μ(x)的类型以后,就可设
其中为未知参数,于是我们的问题归结为:如何更具试验数据合理地选择参数
的值,使方程
(5.3)
在一定的意义下“最佳地“反映变量Y 与x之间的相关关系.解决这种问题的一种有效方法是最小二乘法.
2.最小二乘法
所谓的最小二乘法,就是要求选取中的参数,使得各观测值
与相应的函数值
的离差平方和
最小。为此, 我们令s对求偏导数,并让它们等于零,就得到
解方程组(5.5),可以求得参数的估计值,带入方程(5.3),就得到回归方程一般说来,解方程组(5.5)是困难的,仅当函数
是未知参数
的线性函数时(这时,方程组(5.5)是关于
的线性方程组),可以比较容易地求得这些参数的估计值.