Rienzi estuvo en la máxima instancia judicial desde 1995. Dejó de ser ministro antes de cumplir 75 años, en julio de 2007.
Jocosamente se lo conocía como “tijerita”, debido a que recortaba publicaciones de diarios para ordenar que se abran, de oficio, investigaciones sobre casos que saltaban en la prensa.
Era muy cuestionado por su acercamiento con el senador Juan Carlos Galaverna, lo que hacía notoria la contaminación política con la Justicia.