统计可识别性

统计可识别性（statistical identifiability）要求不同的参数值给出不同的观测概率分布。它关心的是模型有没有把两个不同答案描述成同一种观测规律。即使观测次数无限增加，完全相同的规律也不能告诉我们应选哪一个参数。

一个只记录总数的计数器可以说明这个问题。设一次观测中的事件来自两类来源，来源计数相互独立，分别服从均值为 ${\lambda }_1,{\lambda }_2>0$ 的泊松分布，但设备只输出它们的和 $X$。观测分布为 $$X\sim \mathrm{Poisson}(s),s={\lambda }_1+{\lambda }_2.$$ 参数 $(0.2,0.8)$ 与 $(0.6,0.4)$ 对每个可能计数给出的概率都一样。我们可以研究总强度 $s$，却不能从这个输出分辨两个来源各占多少。

金色线上的点都满足两个强度之和为一。沿线移动改变参数表示，却不改变计数分布。

参数、观测与等价关系

统计模型写成 $\{P_{\theta }:\theta \in \Theta \}$。这里 $P_{\theta }$ 是实际观测量的分布，而不是连同无法观测变量的完整描述。模型可识别的定义是 $$P_{\theta }=P_{{\theta }^{\prime }}⟹\theta ={\theta }^{\prime }.$$ 如果只关心参数函数 $g(\theta )$，则所需条件较弱：相同观测分布必须给出相同的 $g$ 值。主例中 $g({\lambda }_1,{\lambda }_2)={\lambda }_1+{\lambda }_2$ 可识别，两个坐标则不可识别。识别性必须同时说明参数空间与观测方式；改变其中之一，答案可能改变。观测等价与参数冗余的讨论可见Shalizi的课程讲义。

对泊松模型，总强度的可识别性可直接证明：若两分布相同，取事件 $\{X=0\}$，就有 $e^{-s}=e^{-s^{\prime }}$，指数函数单射给出 $s=s^{\prime }$。反过来，同样的总强度代入泊松概率公式，全部概率都相同。因此参数等价类正是总和相同的线段。

四次计数中的似然脊

为展示计算，取独立的四次教学计数 $x=(0,1,1,2)$。总计数为四，联合似然只通过 $s$ 变化： $$\begin{array}{cc}L({\lambda }_1,{\lambda }_2)& =\frac{1}{2}{s}^4{e}^{-4s},\\ \ell (s)& =4\log s-4s-\log 2,s>0.\end{array}$$ 导数为 $4/s-4$，在 $s=1$ 为零；二阶导数 $-4/s^2<0$，所以总强度的最大似然估计唯一。但是原来的二元参数并没有唯一极大值：所有 ${\lambda }_1+{\lambda }_2=1$、两坐标均为正的组合都达到同一最大值。

一维总强度似然有清楚的峰，并不意味着两个来源的分配也有唯一答案。纵轴按峰值归一化。

这区分了两个问题：数据对某个可识别方向是否精确，与模型能否分辨全部参数，并不是同一件事。给软件增加迭代次数，不会消除这条精确的似然脊；加一个惩罚或先验可以选择某个点，但选择依据中已加入观测以外的信息。

不可识别性对估计的限制

考虑独立同分布的重复观测，$n$ 次样本的联合分布为 $P_{\theta }^{\otimes n}$。若 $P_{\theta }=P_{{\theta }^{\prime }}$，而 $g(\theta )\ne g({\theta }^{\prime })$，则不可能存在同一个估计序列，在这两个参数下都依概率收敛到正确的 $g$ 值。

证明。 取小于两目标值距离一半的 $\epsilon >0$。若估计量同时一致，则在两参数下，落入各自目标的 $\epsilon$ 邻域的概率都趋于一。可是两参数给出的全部样本联合分布相同，这两个不相交事件在同一个分布下的概率之和就会趋于二，与概率和至多为一矛盾。这个结论不依赖某种特定估计算法。

增加观测与改变参数空间

若额外获得一个只记录第一类来源的独立计数 $Y\sim \mathrm{Poisson}({\lambda }_1)$，则联合分布分别确定 $𝔼Y={\lambda }_1$ 与 $𝔼X=s$，从而确定 ${\lambda }_2=s-{\lambda }_1$。新增观测打破了原来的等价类。

例如另有四次该通道的计数 $(0,0,1,0)$，样本均值为 $1/4$，而总通道均值为一。矩估计给出 $({\hat{\lambda }}_1,{\hat{\lambda }}_2)=(1/4,3/4)$。这是这个教学数据的矩估计，不意味着在任意样本下两均值之差都非负，也不意味着该差一定是受约束联合似然的极大值。

变式。 若 $X\sim N({\theta }^2,1)$、$\Theta =ℝ$，则 $\theta$ 与 $-\theta$ 观测等价。改为 $\Theta =[0,\mathrm{\infty })$ 后，平方函数单射，模型可识别；但零点附近的反演仍可能很不稳定。识别性解决唯一性，不能单凭它断言有限样本精度、渐近正态性或计算稳定性。

充分统计量研究在模型内怎样压缩已经获得的数据；可识别性则先问，这套观测规律究竟能区分哪些答案。两种检查分别针对数据表示与参数表示。