Evidencia en cada ciclo, no un informe al final

Pregunte qué produjo un trabajo de pruebas y muchas veces le van a pasar un porcentaje. Noventa y cuatro por ciento de casos aprobados. Es un número que tranquiliza y no responde casi nada. ¿Cuál seis por ciento falló? ¿Eran esos los casos que importaban? ¿Qué significa todo eso para un cliente?

Una decisión de salida se reduce a una de tres frases. Esto está listo. Esto está listo con estos riesgos conocidos. Esto todavía no. La que elija tiene que sostenerse frente a alguien que no estuvo en la sala, sea un stakeholder, un auditor o quien termine explicando la caída.

• Por caso: qué se ejecutó, en qué ambiente, contra qué build y qué pasó realmente
• Por defecto: severidad, pasos de reproducción, ambiente y la consecuencia de negocio en lenguaje claro
• Qué no se probó, y por qué: el alcance excluido es parte del registro tanto como el cubierto
• Resultados de reprueba, para poder mostrar que una corrección declarada efectivamente aguanta
• Riesgos abiertos en el momento de la decisión, dichos como riesgos y no enterrados en un resumen

La evidencia que llega al final es un registro de lo que pasó. La que llega durante el ciclo es algo con lo que el cliente todavía puede actuar. Esa es toda la diferencia.

También cambia la relación. Cuando los hallazgos llegan de forma continua, el cliente alcanza a ver en la primera semana si las pruebas van tras las cosas correctas, y puede redirigirlas si no. Cuando el primer entregable sustancial es un documento en la última semana, lo único que queda por hacer es aceptarlo. Reportar sobre la marcha es lo que hace auditable a un proveedor de QA mientras eso todavía sirve de algo.

Hay un segundo efecto, y en la práctica quizá sea el más importante. Cuando la evidencia ya está a la vista, es mucho más difícil suavizar un hallazgo en silencio a medida que se acerca la fecha. Quien esté presionando tiene que discutir con el registro en vez de rodearlo.

• Hallazgos visibles durante el ciclo, en su herramienta de seguimiento, no un resumen al final
• Alcance dentro y fuera por escrito antes de que alguien empiece
• Defectos levantados con impacto de negocio, no solo con reproducción técnica
• Una persona con nombre que diga listo, listo con riesgos o todavía no, y que lo sostenga
• Que las suites, los runbooks y la evidencia queden con su equipo al cerrar