En primer lugar, permítanme decirles que es una mala estadística comparar $p$ -valores a través de diferentes especificaciones. Lo que ciertamente no debe hacer es elegir la especificación basándose en el $p$ -valores que se obtienen.
Dicho esto. Supongamos que la especificación correcta está dada por: $$ y_i = \alpha + \beta D_i + \gamma X_{i} + \varepsilon_i $$ Supongamos que se equivoca en la estimación: $$ y_i = \alpha + \beta D_i + \delta_i $$ donde ahora $\delta_i = \varepsilon_i + \gamma X_i$ capta tanto el error aleatorio $\varepsilon_i$ y el efecto de $X_i$ .
Si se estima la segunda especificación, en realidad se identifica lo siguiente: $$ \begin{align*} \hat \beta &= \mathbb{E}(y_i|D_i = 1) - \mathbb{E}(y_i|D_i = 0),\\ &= \beta + \mathbb{E}(\delta_i|D_i = 1) - \mathbb{E}(\delta_i|D_i = 0),\\ &= \beta + \gamma\left[\mathbb{E}(X_i|D_i = 1) - \mathbb{E}(X_i|D_i = 0)\right] \end{align*} $$ Dependiendo del segundo término, $\hat \beta$ puede ser menor o mayor que $\beta$ . Esto dependerá del signo de $\gamma$ y la dirección de la correlación entre $X_i$ y $D_i$ . Por ejemplo, si $\gamma > 0$ y $D_i = 1$ se asocia con valores más altos de $X_i$ entonces $\hat \beta > \beta$ por lo que tenderá a sobrestimar el efecto de $D_i$ en $y_i$ (ya que también está captando parte del efecto de $X_i$ en su estimación).
Si debe incluir $X_i$ o no en la regresión no es algo que pueda responderse sólo con estadísticas. Si $X_i$ capta los factores de confusión (es decir, algo que afecta tanto a $y_i$ y $D_i$ ), entonces sí debe añadirlo, ya que de otro modo no capta el efecto causal de $D_i$ en $y_i$ pero también parte del efecto de $X_i$ en $y_i$ .