威沙特分布

威沙特分布（Wishart distribution）描述若干独立正态向量的外积之和。它的随机结果是一整个对称半正定矩阵，而不是一个数；样本协方差矩阵的抽样波动，是它的典型研究对象。看二维情形时，对角元素记录两个方向的平方量，非对角元素记录它们同时变化的程度。

从三个向量形成矩阵

先作一次确定性的手算。给定列向量 $x_1=(1,0{)}^{𝖳}$、$x_2=(0,1{)}^{𝖳}$、$x_3=(1,1{)}^{𝖳}$，外积分别为 $$x_1{x}_1^{𝖳}=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right),x_2{x}_2^{𝖳}=\left(\begin{array}{cc}0& 0\\ 0& 1\end{array}\right),x_3{x}_3^{𝖳}=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right).$$ 相加得到 $S=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$。非对角的一，来自第三个向量的两个坐标乘积；它不是第三个向量的长度。

三个向量生成的 S，其特征值为三和一。图中椭圆为 z转置S逆z等于一，不是某个置信水平的区域。

图中沿 $(1,1)$ 方向的半轴较长，对应三个向量在该方向累积了更多平方量。这个矩阵是教学构造的一次结果，不能把它直接当成某个随机模型的期望。

随机定义与参数约定

设 $X_1,\dots ,X_{\nu }$ 独立同分布，且 $X_r\sim N_p(0,\Sigma )$；$\nu$ 为正整数，$\Sigma$ 是 $p\times p$ 对称正定矩阵。定义 $$S=\sum _{r=1}^{\nu }{X}_r{X}_r^{𝖳}\sim W_p(\nu ,\Sigma ).$$ $\nu$ 称自由度，$\Sigma$ 称尺度矩阵。这里没有除以样本数，也没有从每个向量减去样本均值。若改定义成平均外积，分布中的尺度参数也随之改变。

对任意向量 $v$，有 $$v^{𝖳}Sv=\sum _{r=1}^{\nu }(v^{𝖳}{X}_r{)}^2\ge 0.$$ 因此 $S$ 总半正定。其秩至多为 $min(p,\nu )$；当整数 $\nu <p$ 时必然奇异。当 $\nu \ge p$ 且尺度正定时，连续正态向量几乎必然张成整个空间，故 $S$ 几乎必然正定。

密度与一维核对

对实数 $\nu >p-1$，威沙特族还可用正定矩阵上的密度定义： $$f(S)=\frac{|S{|}^{(\nu -p-1)/2}\exp [-\mathrm{tr}({\Sigma }^{-1}S)/2]}{2^{\nu p/2}|\Sigma {|}^{\nu /2}{\Gamma }_p(\nu /2)},S\succ 0,$$ 其中 $|S|$ 是行列式，$\mathrm{tr}$ 是迹，${\Gamma }_p(a)={\pi }^{p(p-1)/4}\prod _{j=1}^p\Gamma (a+(1-j)/2)$ 为多元伽马函数。这是相对于对称矩阵各独立元素的体积测度的密度。非整数自由度的这个定义，不再表示“相加非整数个向量”。

取 $p=1,\Sigma =1$，行列式和迹都变成标量，公式成为 $$f(s)=\frac{s^{\nu /2-1}{e}^{-s/2}}{2^{\nu /2}\Gamma (\nu /2)},s>0,$$ 恰为卡方分布。因此威沙特分布可看作正态平方和从数到矩阵的推广；一般尺度 ${\sigma }^2$ 给出 $S/{\sigma }^2\sim {\chi }_{\nu }^2$。

期望、波动与样本协方差

第 $(i,j)$ 个元素为 $S_{ij}=\sum _r{X}_{ri}{X}_{rj}$。由于正态向量均值为零，$𝔼[X_{ri}{X}_{rj}]={\Sigma }_{ij}$。逐项求期望，便有 $$𝔼[S]=\nu \Sigma .$$ 这也解释了已知总体均值为零时，$S/\nu$ 是协方差的无偏估计。以 $p=2,\nu =5,\Sigma =\left(\begin{array}{cc}2& 1/2\\ 1/2& 1\end{array}\right)$ 为例，$𝔼[S]=\left(\begin{array}{cc}10& 5/2\\ 5/2& 5\end{array}\right)$。

若均值未知，必须先估计均值。对 $n$ 个独立 $N_p(\mu ,\Sigma )$ 样本，令 $\overline{X}=n^{-1}\sum _i{X}_i$，则 $$(n-1)\hat{\Sigma }=\sum _i(X_i-\overline{X})(X_i-\overline{X}{)}^{𝖳}\sim W_p(n-1,\Sigma ).$$ 少的一个自由度来自中心化：$n$ 个残差之和为零。该正态抽样分布结论依赖独立正态假设；仅凭具有同样协方差，不能保证外积和仍为威沙特分布。

变式。 将开头第三个向量改成 $(1,-1{)}^{𝖳}$，得到 $S=\left(\begin{array}{cc}2& -1\\ -1& 2\end{array}\right)$，特征值仍为三和一，但长轴转到 $(1,-1)$ 方向。对角元素只给出各坐标平方量，不能单独确定相关方向。