Evaluar y Mejorar Prompts Sistemáticamente

Framework de Evaluación

Criterios de Evaluación

1. Relevancia: ¿Responde lo que pediste?
2. Precisión: ¿Es correcta la información?
3. Completitud: ¿Cubre todos los aspectos?
4. Formato: ¿Sigue estructura pedida?
5. Tono: ¿Apropiado para audiencia?
6. Eficiencia: ¿Usaste tokens mínimos necesarios?

Método de Testing

1. Crea 5 variaciones del mismo prompt
2. Ejecuta cada una 3 veces (15 outputs totales)
3. Califica cada output (1-10) en criterios arriba
4. Identifica variación con mejor promedio
5. Usa esa como base, refina, repite

Técnicas de Mejora

Añadir Especificidad

❌ "Analiza estos datos"
✅ "Analiza estos datos de ventas Q1. Identifica top 3 productos, growth rate mensual, y tendencias preocupantes. Formato tabla."

Añadir Ejemplos

Versión 1 (Zero-Shot): Score 6/10
→ Añadir 2 ejemplos (Few-Shot): Score 9/10

Añadir Chain-of-Thought

Versión 1: "Resuelve X"
→ Versión 2: "Resuelve X pensando paso a paso"
Mejora: +30% precisión en problemas complejos

Refinar Formato

Versión 1: Formato libre
→ Versión 2: "Usa esta estructura: 1. Summary 2. Details 3. Recommendations"
Mejora: +50% usabilidad

A/B Testing de Prompts

Prompt A: [versión 1]
Prompt B: [versión 2]
Test con 10 inputs variados
Metricas:
- Tiempo respuesta
- Calidad (1-10)
- Necesidad de corrección
- Preferencia usuario
Ganador: [el que score mejor en mayoría]

Señales de Que Debes Mejorar

• Necesitas múltiples intentos para resultado OK
• Respuestas inconsistentes
• Formato no sigue lo pedido
• Demasiado genérico o específico
• Alucinaciones frecuentes
• Tono inadecuado