Skip to content

Implementación de Smart Routing, Control de Costos y Gestión de Caché#57

Merged
thomas-vilte merged 6 commits into
masterfrom
feat/50-smart-routing-cost-control
Dec 19, 2025
Merged

Implementación de Smart Routing, Control de Costos y Gestión de Caché#57
thomas-vilte merged 6 commits into
masterfrom
feat/50-smart-routing-cost-control

Conversation

@thomas-vilte
Copy link
Copy Markdown
Owner

@thomas-vilte thomas-vilte commented Dec 19, 2025

Closes #50

Resumen

Implementé un sistema integral de inteligencia financiera y optimización de ruteo para MateCommit. Esta actualización dota a la herramienta de la capacidad de estimar costos antes de realizar llamadas a la IA, gestionar presupuestos diarios y optimizar el uso de modelos según la complejidad de la tarea, cumpliendo con los objetivos definidos en el issue #50.

Cambios Clave

  • Smart Routing e Inteligencia de Modelos:
  • Control de Costos y Presupuesto:
    • Agregué un CostAwareWrapper que intercepta las llamadas a la IA para calcular el costo en USD en tiempo real.
    • Implementé un sistema de alertas de presupuesto (50%, 75%, 90%) y bloqueos por excedente diario para proteger las finanzas del usuario.
  • Comandos de Estadísticas y Caché:
    • Creé el comando stats (y alias cost) para visualizar el consumo diario y mensual detallado.
    • Implementé el comando cache clean para gestionar el almacenamiento local de respuestas.
  • Sistema de Caché Local:
    • Desarrollé una capa de persistencia basada en hashes SHA256 para evitar llamadas redundantes a la API, reduciendo costos y tiempos de respuesta.
  • Robustez en el Parsing de IA:
    • Mejoré significativamente la extracción de JSON de las respuestas de los LLM, manejando bloques de código markdown y texto adicional generado por modelos con "Thinking Mode".

Impacto Técnico

  • Refactorización de Proveedores: Centralicé la lógica de generación a través de una interfaz CostAwareAIProvider, facilitando la extensión a nuevos proveedores.
  • Gestión de UI: Refactoricé el sistema de spinners para permitir suspensiones durante prompts interactivos de confirmación de costo.
  • Cobertura de Tests: Agregué pruebas unitarias exhaustivas para el gestor de costos, el calculador de precios y el selector de modelos, asegurando la fiabilidad del sistema financiero.

Test Plan

@thomas-vilte thomas-vilte linked an issue Dec 19, 2025 that may be closed by this pull request
5 tasks
@thomas-vilte thomas-vilte changed the title Feat/50 smart routing cost control Implementación de Smart Routing, Control de Costos y Gestión de Caché Dec 19, 2025
@thomas-vilte thomas-vilte added feature New features infra Infrastructure and DevOps test Testing, trials, and coverage labels Dec 19, 2025
@thomas-vilte thomas-vilte merged commit a2e3d29 into master Dec 19, 2025
1 of 4 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

feature New features infra Infrastructure and DevOps test Testing, trials, and coverage

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Feature: Smart Routing, Inteligencia de Costos y Dashboard de Stats

1 participant