Su estado de ánimo mejoró gradualmente, pero el término de 2006-2007 de la corte trajo otro mínimo cuando una mayoría conservadora bajo el Presidente del Tribunal Supremo John G. Roberts Jr., fortalecido por la jubilación del juez O’Connor y su reemplazo, el juez Samuel A. Alito Jr., prevaleció en una serie de casos importantes. En un caso relativamente menor, Bowles v. Russell, la mayoría de 5 a 4 dictaminó que la apelación de un recluso de la prisión se presentó demasiado tarde, a pesar de que estaba de manera segura dentro de la fecha límite que un juez federal le había dado por error. La disidencia del juez Souter, en nombre de sus aliados habituales, parecía abordar cuestiones más amplias y profundas que la que presentó este único caso. “Es intolerable para el sistema judicial tratar a las personas de esta manera”, dijo.
Le dijo a sus amigos a lo largo de los años que quería retirarse pero que no quería crear otra vacante para que el presidente Bush llenara. Envió su carta de jubilación al presidente Obama el 1 de mayo de 2009, solo meses después de la inauguración del nuevo presidente.
Como justicia retirada, se sentó durante varias semanas cada año con su antigua corte, el primer circuito en Boston. Mantuvo a las cámaras allí y en Concord, NH se involucró en la vida de New Hampshire, sirviendo en una comisión estatal para mejorar la educación cívica, una causa a la que había sido reclutado por su colega, el juez O’Connor, cuyo retiro precedió por tres años. Pero dejó su deseo de privacidad indudablemente claro al dar sus documentos a la Sociedad Histórica del Estado de New Hampshire con la estipulación de que permanecen cerrados durante 50 años después de su muerte.
Cuando recibió un título honorario de su alma mater, Harvard, su discurso fue una lección sobria y obviamente sincera de interpretación constitucional. La Constitución encarnaba no solo una idea, sino también un “panteón de valores”, dijo, y “la noción de que toda la ley constitucional se encuentra allí en la Constitución esperando que un juez lo lea” era “simplista”. Tal enfoque interpretativo “disminuye”, dijo.
No hay sobrevivientes inmediatos. El padre de Justice Souter murió en 1976. Su madre, con quien compartió un hogar durante años y a quien más tarde visitó regularmente en su hogar de jubilación en Concord, vivió lo suficiente como para ver a su único hijo alcanzar las alturas de la profesión legal. Ella murió en 1995 a la edad de 87 años.
Después de retirarse, Justice Souter vendió la granja familiar y se mudó a una casa sustancial en la ciudad en Concord. La razón, explicó, era su gran colección de libros, que la antigua granja no podía sostener ni soportar estructuralmente. La historia de la lectura seguía siendo un pasatiempo preciado. “Historia”, explicó una vez, “proporciona un antídoto al cinismo sobre el pasado”.