广义线性混合模型

广义线性混合模型（generalized linear mixed model，GLMM）在广义线性模型的预测子中加入随机效应，用来描述同组观测共享的潜在差异。二元、计数等响应可以在给定随机效应后条件独立，但去掉这个条件后，同组观测通常相关。模型中的条件均值和总体边缘均值需要分别解释。

两层随机机制

对组 $i$ 中第 $j$ 个观测，设固定效应参数为 $\beta$，组随机效应为 $b_i\sim N(0,D)$，其中 $D$ 为相应维数的对称半正定协方差矩阵，不同组独立。给定 $b_i$，响应按选定的指数族分布条件独立，且 $$g({\mu }_{ij}(b_i))=x_{ij}^{𝖳}\beta +z_{ij}^{𝖳}{b}_i.$$ $x_{ij}$、$z_{ij}$ 是已知设计向量，$g$ 是链接函数。随机截距只让组别改变基准水平；随机斜率还允许一个预测变量的作用因组而异。正态随机效应是常见约定，而不是所有混合模型唯一允许的分布。

泊松随机截距的均值与相关

一个可以完整推导的例子是 $$Y_{ij}\mid b_i\sim \mathrm{Poisson}({\mu }_{ij}(b_i)),\log {\mu }_{ij}(b_i)={\eta }_{ij}+b_i,b_i\sim N(0,{\tau }^2),$$ 其中 ${\eta }_{ij}=x_{ij}^{𝖳}\beta$。由正态指数矩 $𝔼[e^{b_i}]=e^{{\tau }^2/2}$，边缘均值为 $$m_{ij}=𝔼[Y_{ij}]=e^{{\eta }_{ij}+{\tau }^2/2}.$$ 而 $b_i=0$ 的组具有条件均值 $e^{{\eta }_{ij}}$，一般不等于 $m_{ij}$。

由全方差公式及泊松条件方差， $$\mathrm{Var}(Y_{ij})=m_{ij}+\mathrm{Var}(e^{{\eta }_{ij}+b_i})=m_{ij}+m_{ij}^2(e^{{\tau }^2}-1).$$ 对同组不同观测 $j\ne k$，条件协方差为零，全协方差公式给出 $$\mathrm{Cov}(Y_{ij},Y_{ik})=\mathrm{Cov}(e^{{\eta }_{ij}+b_i},e^{{\eta }_{ik}+b_i})=m_{ij}{m}_{ik}(e^{{\tau }^2}-1).$$ 同一个潜在截距既带来超过泊松方差的额外波动，也带来组内相关；仅用独立泊松回归把方差调大，并不能自动得到这个联合依赖结构。

两个同组计数的计算

取教学参数 $\eta (x)=\log 2+x\log (3/2)$，${\tau }^2=\log 2$。组随机截距为零时，$x=0$、$x=1$ 的条件均值是二与三；对随机截距平均后，边缘均值分别为 $2\sqrt{2}$、$3\sqrt{2}$。第一个计数的边缘方差为 $$2\sqrt{2}+(2\sqrt{2}{)}^2(2-1)=2\sqrt{2}+8\approx 10.8284,$$ 而两个同组计数的协方差是 $(2\sqrt{2})(3\sqrt{2})(2-1)=12$。后者不矛盾于“给定随机截距后独立”，因为取消条件后，两者共享同一个随机数。

实线取随机截距零，细虚线取正负0.8，金色曲线是对随机截距分布平均后的均值。它不是把截距简单设置为平均零得到的曲线。

变式。 若 ${\tau }^2=0$，随机截距退化为零，边缘均值回到二与三，方差等于均值，同组协方差变零；模型退化为这个例子中的独立泊松广义线性模型。

边缘似然与估计对象

对一个组，观测似然需要把未观测的随机效应积分掉。当 $D\succ 0$、普通高斯密度存在时，可写为： $$L_i(\beta ,D)=\int [\prod _{j}p(y_{ij}\mid b_i,\beta )]\varphi (b_i;0,D)\mathrm{d}{b}_i.$$ 若 $D$ 退化，应改为对高斯概率测度积分，不能使用不存在的全维密度；零随机方差时是对零点质量积分。总似然为独立各组的 $\prod _i{L}_i$。非高斯响应下，这个积分通常没有闭式，需要数值积分、Laplace近似或其他推断方法。把 $b_i$ 固定为某个估计值后再计算的条件似然，不等于上述边缘似然。

二元logit模型中，随机效应还会使固定效应的条件比值比与边缘比值比不同。组数很少、随机斜率数据支持不足或模型误设时，复杂随机效应可能难以估计。混合效应模型中的高斯线性特例可直接用 $ZD{Z}^{𝖳}+R$ 写出边缘协方差；GLMM需另外经过非线性链接和条件分布，不能把该线性公式原样套到响应尺度。