Dana 28. svibnja 1505. opservantski vikar Provincije sv. Jeronima fra Franjo de Dragonibus iz Kotora i fra Augustin iz Zadra izjavljuju pred zamjenikom osorskoga biskupa da osorski plemić Colon de Drosa (Dragozetić) želi sagraditi Maloj braći samostan u Nerezinama, dvije milje južno od Osora.
Uz more sagrađeni samostan je klaustralnog tipa bez ornamentike. Crkva, građena uporedo sa samostanom, završena je za donatorova života, pa ovaj ostavlja četrdeset dukata za sliku velikog oltara koja prikazuje sv. Franju u ekstazi. U crkvi su i dva pobočna oltara: sv. Antuna sa slikom koju narod vrlo štuje te Gospe od milosti sa slikom u mramornoj niši (vjerojatno grčke provenijencije – smatra se da je donesena iz Bosne) i slikom Mlečanina Girolama da Santa Croce.
Četvrtasti trokatni zvonik s kupolom od sive opeke građen je od 1590. do 1604.
Pred crkvom je mjesno groblje.
Rapalskim ugovorom 1920. Lošinj je pripao Italiji, a samostan odlukom vrhovne uprave Reda Mletačkoj provinciji sv. Antuna.
Mirovnim ugovorom u Parizu 1947. Lošinj je vraćen Hrvatskoj, a dekretom Generalnog definitorija od 10. prosinca 1948. samostan je vraćen Provinciji, nakon čega braća provincije smjenjuju mletačku i u pomanjkanju svećenika upravljaju župama: mjesnom, Sv. Jakov i Osor. Popunjavanjem župa dijecezanskim klerom, pastoralna djelatnost se svodi na ispomoć i zamjenu mjesnom župniku i bogoslužje u samostanskoj crkvi. Prizemni dio samostanskih prostorija je ustupljen Karitasu iz Zagreba za odmor djece i invalida, pa su u prilagođavanju toj svrsi izvršeni neki radovi na obnovi zdanja.
Temeljitom obnovom nutrina crkve je dovedena u dolično stanje.
Samostanska se knjižnica, sadržajem mješovita – pretežno teološka, ističe ranijim tiskom sa sedam inkunabula. Arhiv i knjižnica su djelomice preneseni u Rovinj i Zadar.
Samostan je kao spomenik kulture registriran u Zavodu za zaštitu spomenika kulture u Rijeci.
Važnija slavlja tijekom godine:
sv. Antun Padovanski (13.VI.), Porcijunkula (2.VIII.) i sv. Franjo (4.X.).
