Un premier couvent de Carmélites est fondé au Bondon par Françoise d'Amboise en 1463. Leur présence au Bondon dure seulement quinze années, de 1464 à 1479. Les bâtiments conventuels bien que délaissés sont toutefois maintenus en état jusqu'au début du XVIe siècle. Elles sont transferées aux Couëts près de Nantes en 1480. Souhaitant revenir à Vannes, elles commencent en 1513 les démarches préliminaires et obtiennent par lettres patentes de la reine Anne, duchesse de Bretagne, la fondation d'un monastère à Vannes, fondation confirmée par le roi Louis XII. En 1516, un acte est dressé pour afféager le fief de Vannes du prieur de Saint-Martin de Josselin. L'arrangement est ratifié par le pape Léon X en 1517, l'évêque de Vannes et le recteur de Saint-Patern.
Désireuses de se rapprocher de la ville, elles renoncent à réinvestir les bâtiments conventuels du Bondon. Le couvent est construit de 1518 à 1530. Les pouvoirs laïques et ecclésiastiques insistent sur le nécessaire remploi des matériaux de l'établissement du Bondon pour approvisionner le chantier de Notre-Dame de Nazareth qui s'étale de 1518 à 1529. L'analyse archéologique des charpentes encore conservées, notamment la riche série de datations dendrochronologiques, confirme les opérations de démontage et de rémontage avec remploi des matériaux.
Des travaux d'agrandissement sont entrepris au 17e siècle pour répondre à l'afflux des religieuses. Une infirmerie et un vestiaire sont construits en 1618 : il pourrait s'agir de l'édifice aujourd'hui rasé et placé sur les anciens plans à l'angle nord-ouest du couvent. En 1629, un grand dortoir et un pavillon allant vers le nord sont édifiés. En 1645, les jardins et prairies sont augmentés et agrémentés d'une fontaine par le vicaire de la communauté, Jean Tuaut. L'église est agrandie et décorée entre 1673-1675. Des communs et logements de domestiques sont édifiés en 1692. En 1694, le colombier de Kercair est transporté dans l'enclos qui voit aussi en 1695, l'édification de la chapelle Sainte-Anne et d'un oratoire. La même année sont édifiées deux chambres d'hôtes et un parloir au-dessus du portail.
Le couvent est fermé en 1792 et les soeurs dispersées. L'Etat y installe la "Manutention militaire". On y construit un grand bâtiment mur ouest après le porche d'entrée pour faire le pain des militaires de la garnison vannetaise. En 1808, la maison et le jardin des Pères Carmes devant l'entrée du couvent sont démolies pour établir une place d'Armes conformément à la décision prise sur le plan national. Une partie des jardins du couvent (nord et ouest) est vendue au Père Daudé qui y construit un pensionnat pour écoliers lequel est racheté en 1874 par les "Petites Soeurs des Pauvres". En 1824, le couvent est partagé en deux coupant l'église et le cloître pour y construire une "maison d'arrêt et de détention". Pour ce faire, la partie orientale du couvent est démolie : le choeur de la chapelle, une partie de la nef et du cloître. Depuis le départ de la Gendarmerie mobile, affectée à Nazareth de 1968 à 2000 et l'acquisition du couvent par la ville, ce dernier reste sans affectation. Le bâtiment édifié au 19e siècle pour faire le pain des militaires a été démoli lors du percement de la rue desservant la résidence le "Carré des Vosges". Situé au centre de la cour d'origine, le puits est préservé dans le mur de séparation de cet espace, réalisé vers 1824 lors de la construction de la prison.
