Estimación no paramétrica: Interacción de dos variables continuas

Question

La probabilidad de observar un resultado binario y es una función de dos variables, y = f(x1, x2) .

Ambos x1 y x2 son continuos, y no tengo ninguna prioridad en la forma funcional de f . Tengo un conocimiento superficial de la estimación de la densidad del núcleo, pero sólo he visto que se hace en el caso de una variable univariante. ¿Cómo debo proceder aquí / hay alguna literatura básica sobre esto?

Answer 1

(He entendido mal la pregunta al principio) El modelo es una regresión binaria no paramétrica. No conozco un modelo general, conozco un modelo semiparamétrico de Klein y Spady http://www.ssc.wisc.edu/~bhansen/718/NonParametrics7.pdf El modelo es el siguiente deja $x´=[x_1´ \quad x_2´]$ Ahora $P(y=1|x)=E[y=1|x]=g(x'\beta)=f(x)$ . Los detalles en el enlace. Otra posibilidad es estimar la distribución conjunta (que tiene variables discretas y continuas). Dejemos que g(y,x) sea la pdf conjunta, y estimemos $g(y|x)=\frac{g(y,x)}{g(x)}=f(x)$ . La estimación de una articulación de este tipo necesita un kernel de producto que se puede comprobar Estimación no paramétrica de funciones de regresión con datos categóricos y continuos Journal of Econometrics, volumen 119, número 1, marzo de 2004, páginas 99-130 Jeff Racine, Qi Li

Para $y$ continua la siguiente respuesta funciona. En primer lugar, ¿los datos son deterministas o aleatorios? Si son deterministas, es posible que quieras hacer una interpolación. Las splines son la mejor opción. Si crees que tu conjunto de datos tiene ruido o tienes variables no observadas, entonces puedes hacer una regresión no paramétrica, creo que esto es lo que quieres. El primer paso es hacer suposiciones sobre la estructura de la aleatoriedad. La suposición habitual es que $y=f(x_1,x_2)+\epsilon$ y dejas que $x´=[x_1´ \quad x_2´]$ sean ortogonales -independientes- de la variable no observada $x\perp\epsilon$ . A continuación, puede sustituir $f$ por algún polinomio de alto grado en $x$ y estimar esto utilizando mínimos cuadrados no lineales, técnicamente esto se llama estimadores de series o polinomios (NLS se utiliza cuando se conoce f, pero se puede argumentar que un polinomio de alto grado se aproxima a la verdadera f).
Otra forma es utilizar un enfoque ¨kernel¨. De hecho se puede asumir directamente que f es la expectativa condicional. $E[y|x]=f(x_1,x_2)$ . En ese caso se puede estimar utilizando la distribución conjunta recordando la definición de expectativa condicional $E[y|x]=\int yf(y|x)dy$ con $f(y|x)=\frac{f(y,x)}{f(x)}$ . Sustituyendo estos elementos por sus estimadores kernel se obtiene el estimador Nadaraya-Watson, se puede buscar en Google. Una tercera opción es utilizar la regresión lineal local. Una opción más avanzada es utilizar los estimadores de Sieves que utilizan la base de la función para estimar el modelo. Si f no es la expectativa condicional entonces hay que usar regresión no paramétrica con variables instrumentales, esto es más complicado hay un artículo de Renault (y otros) en Econometrica sobre esto. En resumen, depende de la estructura de aleatoriedad que se asuma. El libro que hay que leer si se quiere aprender la regresión no paramétrica es Li & Racine http://press.princeton.edu/titles/8355.html También existe una buena implementación de estos procedimientos econométricos en el lenguaje estadístico de código abierto "R" bajo el nombre (paquete) "np".