Así empieza lo malo cuenta la historia íntima de un matrimonio de muchos años, narrada por su joven testigo cuando este es ya un hombre plenamente adulto. Juan de Vere encuentra su primer empleo como secretario personal de Eduardo Muriel, un antaño exitoso director de cine, en el Madrid de 1980. Su trabajo le permite entrar en la privacidad de la casa familiar y ser espectador de la misteriosa desdicha conyugal entre Muriel y su esposa Beatriz Noguera.

Muriel le encarga que investigue y sonsaque a un amigo suyo de media vida, el Doctor Jorge Van Vechten, de cuyo indecente comportamiento en el pasado le han llegado rumores. Pero Juan no se limitará a eso y tomará dudosas iniciativas, porque, como él mismo reconoce desde su edad madura, -los jóvenes tienen el alma y la conciencia aplazadas-. Así descubrirá que no hay justicia desinteresada, sino que está siempre contaminada por el rencor personal y por los propios deseos, y que todo perdón o castigo son arbitrarios.