En 1980 est édifié sur le terrain du jardin et de l'ancien potager, derrière l’ancienne aile des cuisines, l'hôpital Victor Provo. C’est un bâtiment du type dit Fontenoy, dans sa variante en X, adopté également à la même époque pour l’Hôpital Sud de Rennes ou le Centre hospitalier du Mans par exemple. Il est inauguré en janvier 1984.
