Dès le XIIe siècle, les établissements hospitaliers et les asiles se sont multipliés à Besançon, toujours créés et gérés par l'Église. Au fil des ans, les établissements se regroupent ou ferment. En 1571, un traité rétablit l'hôpital Saint-Jacques pour les malades et les indigents. Il sera géré par la municipalité jusqu'en 1666, puis pris en charge par un directoire. À sa demande, l'Hôtel-Dieu de Beaune envoie des sœurs de l'Ordre de Notre-Dame-des-Sept-Douleurs pour créer une communauté d'hospitalières. Dès 1671, celles-ci vont desservir l'hôpital qui sera désormais leur maison mère.
Les locaux étant jugés trop étroits, la municipalité, en septembre 1671, autorise le directoire à acheter des terrains pour construire un hôpital plus important. Avec les conquêtes de Louis XIV, Besançon, jusque-là espagnole, devient française, mais le projet est maintenu : Louvois l'approuve en 1682 et le Roi soleil, qui vient dans la cité en 1683, offre mille écus à l'archevêque pour sa construction.
La construction de l'hôpital Saint-Jacques de Besançon commence en 1686. À partir de 1709, pour lutter contre la dépravation morale possible des jeunes filles, conséquence de l'arrivée des étrangers (les Français de Louis XIV!), on adjoignit un couvent, mitoyen de l'hôpital, qui prit le nom de couvent du Refuge. On y interna les «pénitentes» volontairement ou pas, dont les filles publiques.
À la Révolution, la communauté du Refuge est dissoute. Les bâtiments deviennent prison, puis hôpital militaire. Quant à la chapelle, elle sert d'entrepôt à grains et à fourrage. Elle est ensuite affectée au culte protestant de 1796 à 1802, puis, avec le Concordat, rendue au culte catholique en tant que dépendance de l'hôpital.
En 1863, la chapelle Notre-Dame du Refuge flt l'objet d'une première restauration. On y installa les faux marbres de Baldauf et l'on peignit la coupole. La restauration extérieure intervient en 1985 et une ultime restauration intérieure en 1992-1993.Le nouveau bâtiment sort de terre en 1688. Une fois terminé, jugé moderne et fonctionnel, les Bisontins vont jusqu'à dire que, dans leur ville, ce sont les miséreux les mieux logés !
Au cours de son histoire, deux religieuses se distinguèrent par leur dévouement et leur courage : sœur Marthe (1749-1824) et sœur Marcelle Baverez, résistante morte à Ravensbrück en 1944.
TVA Intracommunautaire FR 12 387 907 850 - Siret 387 907 850 0001 - Code activité 9499Z - Agrément Tourisme Atout France IM053110002 - RC Générali AM 725950