Proyecto EDA

Introduction

Este proyecto consiste en un análisis exhaustivo de los datos de rendimiento de la plataforma digital de Vanguard. El objetivo principal es evaluar de forma analítica y estadística el impacto de una nueva interfaz de usuario (Test) frente al diseño tradicional (Control). A través de este análisis, se determina si el nuevo diseño optimiza la experiencia del cliente, reduce la fricción en los pasos del proceso y si cumple con los objetivos comerciales fijados por la compañía (un incremento mínimo del 5% en la tasa de conversión).

Description of the Data and Data Sources

El conjunto de datos utilizado abarca un periodo de observación de aproximadamente seis meses del año 2017 y proviene de tres fuentes unificadas:

• Datos Demográficos (df_final_demo): Información sobre el perfil del cliente, incluyendo edad (clnt_age), género (gendr), antigüedad, número de cuentas asociadas (num_accts) y balance total de activos (bal).
• Interacciones Web (df_final_web_data_pt_1 y pt_2): Registros detallados de la actividad digital con marcas de tiempo (date_time), identificadores de visita (visit_id), de visitante (visitor_id) y el paso del proceso en el que se encontraban (process_step: start, step_1, step_2, step_3, confirm).
• Asignación del Experimento (df_final_experiment_clients): El registro que define si cada cliente fue expuesto al grupo de Control (interfaz antigua) o al grupo de Test (interfaz nueva).

Explanation of Our Methodology

El proyecto se ha desarrollado siguiendo un flujo metodológico estructurado en tres grandes fases:

1. Limpieza y Preparación de Datos (Cleaning):
   • Unificación de las dos fuentes de tráfico web y posterior integración mediante un Left Join con la tabla de experimentos para conservar estrictamente a los usuarios participantes.
   • Tratamiento de valores nulos y limpieza de registros inconsistentes (por ejemplo, limpiezas de valores vacíos en la duración entre pasos).
   • Cálculo del tiempo transcurrido entre pasos consecutivos (time_diff_seconds) por cada visita única utilizando funciones de desplazamiento (shift / diff) ordenadas cronológicamente.
2. Análisis Estadístico (Analysis):
   • Análisis del Funnel: Cálculo de las tasas de retención y caída en cada fase del proceso de navegación.
   • Pruebas de Hipótesis: * Aplicación de un Z-test de proporciones para evaluar si la diferencia en las tasas de finalización (conversión) entre ambos grupos es estadísticamente significativa y si supera el umbral del 5%.
     • Aplicación del test no paramétrico de Mann-Whitney U para comparar las distribuciones de los tiempos de permanencia, debido a la naturaleza asimétrica y la presencia de valores atípicos (outliers) en las duraciones web.
3. Visualización (Visualization):
   • Desarrollo de un dashboard interactivo en Tableau para representar visualmente los principales hallazgos del análisis.
   • Creación de gráficos comparativos entre los grupos de Control y Test, incluyendo:
     • Comparación del tiempo promedio de navegación.
     • Distribución de tiempos mediante boxplots para detectar dispersión y valores atípicos.
     • Funnel de conversión para visualizar la retención de usuarios en cada etapa del proceso.
     • Tasas de finalización (Completion Rate) para comparar el rendimiento global de ambos diseños.
     • Análisis demográfico para explorar posibles diferencias de comportamiento según la edad de los usuarios.
   • Diseño de un dashboard final orientado a facilitar la interpretación de resultados y apoyar la toma de decisiones basada en datos.

Research Questions and Conclusions

1. ¿Consigue el nuevo diseño (Test) una tasa de conversión significativamente mayor que el antiguo (Control)?

• Conclusión: Sí. El análisis de proporciones confirma que el grupo de Test incrementó la tasa de conversión (llegada al paso confirm). Estadísticamente, la diferencia es significativa, validando que el nuevo diseño ayuda a guiar mejor a los usuarios hacia el objetivo final.

2. ¿Cumple el nuevo diseño con el objetivo comercial de superar en un 5% la tasa del grupo de control?

• Conclusión: No. Aunque hay una mejora clara, la diferencia porcentual neta lograda por el grupo Test se queda ligeramente por debajo del umbral del 5% fijado como objetivo de éxito para el despliegue automático.

3. ¿El nuevo diseño mitiga los problemas de confusión o provoca que los usuarios repitan pasos (backtracking)?

• Conclusión: El análisis indica que el grupo de Test presenta un promedio de interacciones y clics por paso sutilmente superior (1.36 clics de media frente a 1.29 del grupo Control). Esto sugiere que, si bien la interfaz es más efectiva para cerrar el proceso, puede estar generando pequeños focos de duda o fricción en pasos intermedios.

4. ¿Existe una diferencia significativa en el tiempo que pasan los usuarios en la plataforma según el diseño?

• Conclusión: Sí, la prueba de Mann-Whitney U rechazó la hipótesis nula. Los usuarios de la nueva interfaz pasan más tiempo navegando, lo cual está alineado con un mayor número de interacciones o una lectura detallada de los nuevos elementos visuales.

Main Findings and Insights

• Eficacia del Embudo: El mayor punto de abandono (churn) en ambos grupos se concentra en las fases iniciales (start hacia step_1). Una vez que el usuario avanza al step_2, la probabilidad de completar el proceso se dispara, especialmente en el grupo Test.
• Perfil de Valor: Los clientes con mayores balances consolidados (bal) y de mayor edad tienden a mostrar comportamientos de navegación más pausados (tiempos de permanencia más altos). Sin embargo, el nuevo diseño demostró ser intuitivo tanto para los perfiles jóvenes como para los clientes veteranos de Vanguard.
• Fricción vs. Éxito: El hallazgo más interesante es la paradoja del nuevo diseño: requiere un poco más de tiempo y clics por parte del usuario (mayor fricción/navegación), pero consigue un ratio de cierre sustancialmente más alto.

Further Questions and Next Steps

A la luz de los resultados, se proponen las siguientes líneas de investigación y acción:

• Optimizar los pasos intermedios del proceso.
• Profundizar en el análisis demográfico de los usuarios.
• Evaluar el impacto de negocio de las mejoras observadas.
• Realizar nuevos experimentos A/B.
• Analizar con mayor detalle el comportamiento de los usuarios.
• Desarrollar dashboards interactivos para el seguimiento continuo de resultados.