En casi todas las circunstancias, es una idea muy mala sacar dinero de un IRA (u otra cuenta de jubilación) para el pago inicial de una casa y solo lo sugeriría como último recurso. Incluso como último recurso, es una mala idea, y te sugeriría que no estás listo para comprar una casa hasta que tengas suficiente dinero no destinado a la jubilación para hacer la transacción.
En tu caso, tienes dinero en ahorros, deberías hacer eso absolutamente. Si no te sientes cómodo usando tu fondo de emergencia, necesitas seguir ahorrando hasta que puedas permitirte comprar una casa. Tu fondo de jubilación no es una alcancía para cuando necesitas dinero ahora, es un pago que haces para mantener un estilo de vida decente más adelante en la vida. Cuando estás jubilado, tus opciones de ingresar ingresos alternativos serán mucho más limitadas.
El mayor costo oculto es el costo de oportunidad de no tener ese dinero trabajando para ti. Tu saldo de jubilación final muy probablemente (cuando se hace correctamente) estará compuesto en su mayoría por el rendimiento de tu inversión más que por el dinero que aportaste. Mientras eres joven, tu mayor activo es el tiempo para que ese dinero crezca, ¡no lo desperdicies cuando tienes opciones viables!
El otro problema, si estás hablando de un plan de empleador (401K/Roth) es que si pierdes tu trabajo, tendrás de 60 a 90 días para devolver el préstamo o se considerará una distribución y estará sujeto a impuestos más una penalización del 10% por retiro anticipado. Esto le sucedió a varios de mis amigos en el trabajo cuando nuestra empresa fue comprada por otra empresa que los obligó a cerrar el antiguo plan 401K y transferirlo al nuevo.
Versión corta: No toques el dinero de jubilación para cosas que no sean de jubilación a menos que sea una emergencia de vida o muerte y no tengas otras opciones.