最优实验设计

最优实验设计（optimal experimental design）是在给定统计模型、可用实验条件和成本限制下，选择观测位置及重复次数，使参数或预测的不确定性按指定准则尽量小。它决定的是怎样收集数据；并不是在数据收集之后挑选一个拟合曲线，也不是不依赖模型的万能实验安排。

直线斜率需要怎样的观测

考虑无量纲教学模型 $$y_i={\theta }_0+{\theta }_1{t}_i+{\epsilon }_i,-1\le t_i\le 1,$$ 其中误差独立、均值为零、共同方差为 ${\sigma }^2>0$。未知参数为截距和斜率。令设计矩阵第 $i$ 行为 $(1,t_i)$，记作 $F$。当 $F$ 满列秩时，最小二乘估计的协方差为 $$\mathrm{Cov}(\hat{\theta })={\sigma }^2(F^{𝖳}F{)}^{-1}.$$ 其理由是 $\hat{\theta }-\theta =(F^{𝖳}F{)}^{-1}{F}^{𝖳}\epsilon$，把 $\mathrm{Cov}(\epsilon )={\sigma }^{2}I$ 代入协方差变换公式即得。这里不需要正态性；若还要用精确正态置信椭圆，则需相应分布假设。

做四次实验，在两端 $-1,1$ 各重复两次，得到 $F^{𝖳}F=\mathrm{diag}(4,4)$，两个参数方差都为 ${\sigma }^2/4$。若改在 $-1/2,1/2$ 各重复两次，矩阵变成 $\mathrm{diag}(4,1)$，截距方差不变，斜率方差变为 ${\sigma }^2$。靠近中心的观测对辨认斜率较弱。

相同样本数与噪声方差下，把观测位置拉开可以降低本例的斜率估计方差。

信息矩阵与设计准则

有有限候选位置 $t_1,\dots ,t_s$ 时，以权重 $w_j\ge 0$ 表示第 $j$ 个位置的实验比例，$\sum _j{w}_j=1$。设每次观测的回归向量为 $f_j$，定义归一化信息矩阵 $$M(w)=\sum _{j=1}^s{w}_j{f}_j{f}_j^{𝖳}.$$ 在共同方差线性模型中，若总次数为 $N$ 且各 $N{w}_j$ 是整数，估计协方差就是 $({\sigma }^2/N)M(w{)}^{-1}$。允许连续权重的称近似设计，是对重复次数整数问题的松弛。

常用准则关心不同的误差方面：

• D最优最大化 $\log detM$，等价于最小化协方差行列式；在相应正态置信椭圆解释下，它控制椭圆体积。
• A最优最小化 $\mathrm{tr}(M^{-1})$，控制按当前参数尺度相加的方差总和。
• E最优最大化 ${\lambda }_{min}(M)$，控制最不易辨认方向上的误差。

这些准则一般给出不同设计，参数单位和关注方向也影响选择。若 $M$ 奇异，至少有一个参数方向无法由设计辨认，含逆矩阵的准则就不能直接代入。

本例D最优性的完整推导

对区间 $[-1,1]$ 上的任意设计，令 $m_1={𝔼}_w[t]$、$m_2={𝔼}_w[t^2]$。由于 $f(t)=(1,t{)}^{𝖳}$， $$M=\left(\begin{array}{cc}1& m_1\\ m_1& m_2\end{array}\right),detM=m_2-m_1^2\le m_2\le 1.$$ 最后一步来自所有实验位置均满足 $t^2\le 1$。要达到上界一，必须同时有 $m_1=0$ 和 $m_2=1$。后者要求权重全部落在两个端点，前者要求两个端点权重各为一半。因此两端均分是这个模型与准则下的D最优设计。

四次观测时该设计可精确实施。内侧设计的信息行列式为 $1/4$，两端设计为一，所以协方差行列式缩小到四分之一。二维椭圆面积与协方差行列式的平方根成正比，因此面积缩小到二分之一，而不是四分之一。

图取噪声方差一，绘制协方差对应的单位马氏半径椭圆，仅比较几何尺度，不标成某个置信水平。

变式将总次数改为五，且只允许两个端点。若左端安排 $a$ 次、右端安排 $5-a$ 次，$F^{𝖳}F$ 的行列式为 $$25-(5-2a{)}^2=4a(5-a).$$ 整数 $a=2$ 或三时达到最大二十四。连续权重的精确均分需要各 $2.5$ 次，无法直接实施；这显示近似设计与实际重复次数的区别。

模型、约束与解释范围

这个结论依赖直线模型、共同误差方差和可用区间。若真实响应有曲率，全部实验都放两端无法检查区间内部的偏离；若方差随位置改变，信息矩阵也要按噪声方差重新加权。实验成本、批次、随机化安排和安全限制应进入设计约束，而不是算完最优比例后再忽略。

非线性模型的信息矩阵常依赖未知参数，围绕一个指定参数求得的是局部设计；可再考虑参数先验或最坏情形等准则。设计优化改善的是假设模型下的信息配置，不替代实际数据的残差诊断和模型验证。