Samostan bl. Gospe od Milosti sagrađen je 1461. uz kapelu sv. Križa (u vrijeme kad je sagrađena polovica samostana Provincije) na inicijativu hvarskog biskupa Tome Tomassinija, apostolskog delegata za Bosnu uz dozvolu pape Pija II. Motivi gradnje su prodor Turaka i potrebe franjevaca u Bosni. Donatori su gradske vlasti i građani (djed pjesnika Hanibala Lučića darovao je 1000 dukata).
S istoka je imao kulu za obranu od gusara. Renesansni je klaustar s polukružnim arkadama 1489. gradio majstor Rade iz Šibenika. Bunar je građen prinosom građana i mletačke mornarice.
Crkva je započeta 1465. na mjestu kapele sv. Križa donacijom oficira mletačkih galija u Dalmaciji iz zahvalnosti Gospi od Milosti i prilozima građana. Asimetrične je gradnje (sa gotičkim prozorima i renesansnim lukovima). Ograda svetišta je vjerojatno iz kapele sv. Križa. U izvornom su obliku: svod, prozor lijevo od velikog oltara i rozeta s Gospinim reljefom Nikole Firentinca na portalu. Kapela sv. Križa dograđena je u XVI.st. Humanist, dominikanac fra Vinko Pribojević je u govoru o Slavenima 1525. rekao da se u franjevačkom samostanu “posebno štuje čudotvorna slika Majke Božje” i da je “lijep, prostran i na glasu brojnim i uzornim redovnicima”. O crkvi kao svetištu pomoraca veli: “Često vidjeh onu luku u zoru bez lađe, a uvečer istoga dana nabrojih u njoj 20-30 velikih brodova.”
Alžirski su gusari (oko 80 lađa) 17. kolovoza 1571. orobili i zapalili grad i samostan. Kamena ploča nad vratima zvonika s nadnevkom 26. listopada 1573. podsjeća na obnovu samostana nakon ovoga pustošenja.
Poliptih velikoga oltara (naslikao Francisco de Santa Croce 1583.) ima dvanaest slika: po šest velikih na platnu i malih na drvu. Središnja prikazuje sv. Franju na brdu savršenstva između sv. Antuna Padovanskoga i sv. Bernardina Sijenskoga. U gornjem dijelu su anđeli koji pridržavaju pozlaćeni okvir sa dvije slike u drvu (Marija s Djetetom Isusom i raspeti Spasitelj). Ovaj okvir zatvara slika pokrovitelja crkve (na drvu, autor nepoznat). Kasnije je obložena zavjetnim darovima. Sa strane dolje su još dvije: sv. Stjepan zaštitnik otoka i sv. Petar (lijevo) te sv. Andrija zaštitnik ribara i sv. Jeronim zaštitnik Dalmacije i Provincije (desno). Gore lijevo su sv. Jelena Križarica, po tradiciji rodom s Brača i sv. Lucija, a desno sv. Klara i sv. Katarina. Na dnu poliptiha je svetohranište između dvaju anđela.
Lijevo od ulaza je oltar s triptihom (Francesco de Santa Croce): Majka Božja s Djetetom (Gospa od Porođenja) te sv. Ivan Krstitelj i sv. Jeronim. Tu je i oltar od pozlaćenog drveta sa slikom sv. Didaka u razgovoru sa sv. Franjom (bez oznake autora). Iza ovog je oltar (iz novijeg doba) sa kipom sv. Antuna.Desno od ulaza je oltar od pozlaćenog drveta sa slikom stigmatizacije sv. Franje i simboli iz Sv. pisma koji se odnose na Imakulatu (na polusvodu oltara) a ispred slike Imakulate je slika bizantske Bogorodice s grčkim natpisom: HE ELPIS TON APEISMENOON (= Nada beznadnih), sa zavjetnim darovima. Uz oltar je bila povezana bratovština. Pala nema oznake autora (pripisuje se F. de Santa Croce). Zatim je oltar Bezgrješnoga Začeća s poliptihom od osam slika na drvu (Jakov Palma mlađi, 1617.). Na slici u sredini je Imakulata, na manjima su dva proroka i sv. Franjo, te ostali starozavjetni proroci koji su govorili o Bogorodici.Najvrjedniji je oltar u kapeli sv. Križa. Slika prikazuje Spasitelja na križu uz koji stoje: Majka Božja, sv. Ivan evanđelist, sv. Jelena križarica, sv. Antun i rimski vojnik. Autor slike je Jakov de Ponte Bassano (XVI.st.).Pjevalište iznad pobočnih oltara sagrađeno je za obnove 1583. Dio balustrade je oslikan prizorima muke Isusove (domaći majstor Martin Benetović 1599.g.). Prvotni drveni kor u prezbiteriju izgorio je 1571., a 1583. izrađen je sadašnji (majstori Franjo Goccić iz Korčule i Antun Špije iz Zadra) troškom patricijskih obitelji iz Hvara. Crkva je posvećena 1670. U crkvi su grobovi obitelji i bratovština. U onoj obitelji Lučić je ukopan i pjesnik Hanibal (oko 1485-1553), te obitelji Kačić (1637.), od kojih je jedan (pred Turcima došao ovamo 1606.) bio zapovjednik mletačkih četa na Hvaru. Ostalo su grobnice starih građanskih hvarskih obitelji: Lezinović (sa Brača), Koludrović, Stefani i Valdinario. U kapeli sv. Križa su grobnice obitelji Grifiko iz 1471.i bratovštine sv. Križa. U crkvi su i dvije spomen – ploče: u čast Ursule, žene Franje Kontarinija, hvarskoga kneza (na zidu do propovjedaonice, podigla općina) i kneza Petra Semitekolija koji je uspostavio mir između plemića i pučana (na ulazu u kapelu sv. Križa, iz 1612). Zvonik (sa druga dva u Hvaru spada u najljepše spomenike renesanse XVI.st. u Dalmaciji) je od klesanoga kamena s renesansnom kupolom. Gradnja je ugovorena 23. srpnja 1507. s majstorima: Blažem Andrijevićem i Franjom i Nikolom Španićem iz Korčule.Duž puta od grada do samostana smještene su kapelice postaja križnoga puta s kamenim križevima, podignute oko 1720. Priručnik za ovu pobožnost, tiskan u Veneciji 1720., čuva se u samostanu.Slika Posljednje večere (8 * 2,5m) u blagovaonici jedna je od vrijednosti po kojoj je samostan poznat. Smatralo se da je njen autor Matteo Rosseli (navodno ju je naslikao u zahvalu redovnicima ovoga samostana koji su ga ugostili za bolesti). Pripisuju je krugu Palme Mlađega (1544-1631) ili Mlečaninu Mateju Ingoliju (1585-1631). Slika je za II. svj. rata sklonjena u Italiju i poslije vraćena na mjesto.Svrsi, za koju je sagrađen, samostan nije dugo služio, jer je Venecija zabranila braći iz Bosne boravak na svom području. Poslužio je za liječenje i oporavak braći iz Provincije (radi blage klime).
Samostan je bio otvoren i znanstvenicima. Primjerice fra Bonagracija Marojević pružio je gostoprimstvo ekipi njemačkih botaničara pod vodstvom evolucioniste i neprijatelja Crkve E. Haeckela istraživača flore i faune mora u Hvaru. O radu redovnika svjedoče samostanska knjižnica i arhiv. Knjižnicu spominje Vinko Pribojević 1525. Fond knjižnice je oko 15.000 bibliotetskih jedinica. Zastupljene su inkunabule (66) i rijetke knjige (83 na hrvatskom, XVI-XIX.st; 248 stranih). U arhivu ima isprava i papinskih bula.
Samostan je jedan od prvih naših samostana koji je dodao turizmu kulturni element, uredivši u blagovaonici riznicu. Tu su uz sliku Posljednje večere izložene druge znamenitosti: Sv. Petar Alkantarski od Magnascoa, Sv. Spiridion (polovina XVIII.st.), Sv. Karlo i Sv. Gajetan, Zaruke sv. Katarine, Oplakivanje Krista, Ecce homo, reljef Navještenje u orahovini od Krstulovića, primjerci iz knjižnice, iluminirani kodeksi XVII. i XVIII.st, rukopisi iz XVI.st, Ptolomejev atlas iz 1525. tiskan u Nuernbergu, svetačke relikvije, posuđe i crkveno ruho iz XVI. i XVII.st., sv. Jeronim (drvena skulptura), prizori Kristove muke (engleska skulptura u alabastru iz XV.st.), sv. Vinko Fererski (mletačka škola XVIII.st.), Bogorodica s Djetetom (ikona iz XVI.st.), Oplakivanje Krista (mletačka slikarska škola, Palma Mlađi) itd.Numizmatička zbirka 480 primjeraka kovanoga novca uređena je prema povijesnim razdobljima od IV. st. prije Krista do danas. Važan je primjerak iz grčkoga razdoblja s natpisom PHAROS (grad na mjestu današnjeg Starigrada na Hvaru). Zbirku je opisao Irislav Dolenec iz Zagreba 1983.U samostanskom dvorištu je čempres, star 150-200 godina, zanimljiv zbog fascijacije (rasta u širinu). Nedavno je pronađen satni mehanizam iz XV. st.Širenjem grada poslije II. svjetskog rata samostan je ušao u gradsku cjelinu. U novije su vrijeme posebno zaslužni za njegovo uređenje poglavari fra Bone Mirošević i fra Karlo Bošnjak.
U ovom su se samostanu svetošću života istaknuli: u prijašnje doba fra Jeronim Geific, hvarski patricij (zbog pokore živio na otočiću Rusatarac), a u novije fra Fulgencije Carev iz Kaštel Gomilice (hvarski biskup 1888-1901) koji je za mladu Misu i vječno počivalište odabrao ovu crkvu.Ovdašnji su franjevci geslo serafskoga Oca: “Ne samo sebi živjeti, nego i drugima koristiti” provodili u život propovijedanjem i ispovijedanjem u svojoj crkvi, dragoj Hvaranima, Bračanima i Višanima. Bila su braća u stolnoj crkvi kapelani i orguljaši. Svećenici samostana nisu izravno upućeni na pastoralni rad, već povremeno pomažu u susjednim župama, posebno za korizmu kad održavaju prigodne propovijedi i pomažu u ispovijedanju. Bavili su se i drugim djelatnostima, kulturnim i znanstvenim, a istaknuli su se: fra Franjo Gutrica, fra Danijel Lucca, fra Antun Lukanić (otvorio osnovnu školu u samostanu), fra Bonagracija Staliv i fra Bonagracija Marojević (od države aprobirani profesor, otvorio i vodio u gradu gimnaziju).Površina crkve: 475 mq, samostana 1180 mq, okućnice: 7362 mq.
Samostan je registriran kod Regionalnog zavoda za zaštitu spomenika kulture i prirode u Splitu pod br. 205 od 13. travnja 1964. kao kulturno-historijski spomenik.
FSR:
Malobrojan.
Važnija slavlja tijekom godine:
sv. Franjo (4.X.), Bezgrješno začeće B.D.Marije (8.XII.), Bogojavljenje – sv. Tri Kralja (6.I.) i sv. Ante (13.VI.).Voditelj pjevačkoga zbora i orguljaš: g. Vinko Carić.
