W czasach zaborów zakonnicy angażowali się w powstaniu listopadowym i później styczniowym, stąd w 1864 r. na mocy rozporządzenia carskiego klasztor został zniesiony. W 1921 r. klasztor objęli franciszkanie prowincji św. Jadwigi, a od 1923 r. wszedł w skład odrodzonej prowincji (włączenie Komisariatu Zależnego na Górnym Śląsku z formalnie istniejącą prowincją w byłym zaborze pruskim) Niepokalanego Poczęcia N.M.P. w Wielkopolsce (od 1932 r. Wniebowzięcia N.M.P. w Polsce).
Do wybuchu II wojny światowej klasztor pełnił funkcję miejsca nowicjatu kleryckiego (bracia po maturze z myślą podjęcia studiów wyższych).
Od 1995 r. do 2000 r. klasztor był miejscem przebywania braci po nowicjacie, przygotowujących się do matury.
Zakonników reguły św. Franciszka sprowadzono do Wielunia w 1629 r. Fundatorami położonego poza murami miejskimi klasztoru i kościoła Zwiastowania Najświętszej Panny Marii byli Marcin Wierusz Kowalski, Paweł Niewęgłowski, Franciszek Frakstyn i Paweł Nieroda, prace budowlane trwały do 1634 r. W l. 1645-53 przebywali tu prześladowani w Irlandii tamtejsi franciszkanie. W 1655 r. Szwedzi splądrowali zespół klasztorny, w l. 1662-1800 działało tu wyższe seminarium duchowne. W 1683 r. za sprawą syndyka apostolskiego Mikołaja Wierzchlejskiego sklepienie nawy przyozdobiono polichromiami.
W l. 1737-54 klasztor rozbudowano do dzisiejszych rozmiarów, w l. 1756-60 zmieniono wystrój wnętrza kościoła na rokokowy. Ok. 1760 r. miała miejsce katastrofa budowlana – wybiło źródło, którego wody podmyły fundamenty kościoła, co doprowadziło do zawalenia się fasady. W czasie odbudowy w 1763 r. według projektu Piotra Szymańskiego z Warszawy kościół wydłużono o ponad 5,5 metra posadawiając nowobudowaną część na 157 olszowych palach. Z tej odbudowy pochodzą oprócz zachowanego frontonu kościoła również kruchta i chór oraz furta klasztorna. Po tej odbudowie, w 1766 r. kruchtę od nawy oddzielono misternie kutą żelazną kratą, którą w l. 70-tych XX w. podzielono, część przekazując do klasztoru w Złoczewie, a część umieszczając w kaplicy bocznej w kościele Bożego Ciała. W l. 1784-86 wzdłuż kościoła w klasztorze dobudowano korytarz. Po powstaniu styczniowym w 1864 r. klasztor podzielił los innych domów zakonnych, które zlikwidowano na mocy ukazu carskiego. Kościół przemianowano na filialny parafii wieluńskiej, zaś w klasztorze umieszczono garnizon straży granicznej. W 1890 r. część budynku kupił na licytacji Siciński. Reformaci odzyskali kościół i częściowo zdewastowany klasztor w roku 1920, dwa lata później otwarto nowicjat, przeprowadzano również stopniowy remont zespołu klasztornego. W 1929 r. odbyły się uroczystości 300-lecia klasztoru; ufundowano wówczas grotę koło kościoła na wzór tej z Lourdes. W latach II wojny światowej klasztor zajęto na koszary SS, zaś kościół przeznaczono dla mieszkających w Wieluniu Niemców. Po wojnie zakonnikom pozostawiono cztery cele, zaś pozostałe pomieszczenia przekazano Liceum Pedagogicznemu, później (od 1958 r.) znajdował się tu internat Zespołu Szkół Zawodowych, a następnie od 1964 r. warsztaty gastronomiczne ZSZ. W l. 1989-90 cały budynek przeszedł w ręce franciszkanów.
Kościół zbudowany został w stylu barokowym, murowany, orientowany, jednonawowy. Nawa prostokątna, prezbiterium jest węższe, od zewnątrz zamknięte wielobocznie, wewnątrz półkoliście. Starsza część kościoła, w 1. poł. XVII w. jest oszkarpowana, jedynie odbudowana w 1763 r. fasada została opilastrowana. Jedynie nowsza część świątyni, obejmująca chór i kruchtę posiada od zewnątrz zdobienia. Fasada podzielona gzymsem na dwie kondygnacje, powyżej niej późnobarokowy szczyt, ograniczony po bokach zgeometryzowanymi wolutami i zwieńczona sygnaturką. Nad wejściem bocznym do kruchty balkon. Dachy nad nawą i prezbiterium dwuspadowe, nad nawą wyższy. Na dachu prezbiterium druga, starsza sygnaturka. W nawie i prezbiterium sklepienia kolebkowe z lunetami, w kruchcie krzyżowe.
Wewnątrz wystrój rokokowy – ołtarz główny, cztery ołtarze boczne, ambona z posągiem modlącego się św. Bonawentury, pięć konfesjonałów szafkowych, ławki i balustrady powstały w poł. XVIII w., stanowią razem harmonijną całość wykonaną z drewna dębowego, ze złoconym motywem rocaille. W tej stylistyce utrzymane są również dwie szafy w zakrystii. Ponadto znalazły się tam barokowy konfesjonał, klęcznik z krucyfiksem z XVIII w. i lavabo z czarnego marmuru (XVII w.). W nawie na ścianach umieszczono również popiersia dwunastu apostołów, a oprócz tego marmurowe epitafia: na ścianie północnej miecznika ostrzeszowskiego i koniuszego łęczyckiego Aleksandra Szembeka z 1734 r. z portretem trumiennym na blasze z rzeźbionymi herbami Półkozic, Rawicz, Ciołek i Gryf oraz w ścianie południowej wojewody sieradzkiego i starosty szczercowskiego Marcina Siemianowskiego z 1688 r. z herbami Grzymała, Gryf, Godziemba i Kosy. W ołtarzu głównym znajduje się rzeźba Chrystusa Ukrzyżowanego otoczona posągami św. św. Franciszka, Jana, Piotra z Alkantury i Matki Boskiej. Ołtarz wieńczą postacie Boga Ojca w otoczeniu aniołów i gołębica symbolizująca Ducha Świętego. W ołtarzach bocznych obrazy na płótnie: w ołtarzu pw. św. Antoniego obrazy świętego i Dzieciątka oraz św. Barbary, pw. Zwiastowania Pańskiego obrazy z tą sceną i św. Klary, ponadto ołtarze pw. św. św. Franciszka i Józefa. Wystrój kościoła dopełniają malowane na płótnie stacje Drogi Krzyżowej z XVIII w. Sklepienie nawy zdobi polichromia z 1683 r. przedstawiająca triumf Niepokalanego Poczęcia, przemalowywana z l. 1766 i 1948. W prezbiterium malowidła przedstawiają Przemienienie Pańskie – Chrystusa otoczonego przez Eliasza, Mojżesza i apostołów Piotra, Jakuba i Jana; polichromie te są znacznie nowsze, wykonał je D. Kowalski z okazji 300-lecia klasztoru w 1929 r. Posadzka marmurowa pochodzi z 1765 r., pod nią podziemia z XVII w., w których chowano niegdyś zakonników.
Piętrowy klasztor przylegający od północy do kościoła zbudowany został na planie prostokąta wokół wirydarza w XVII-XVIII w. Korytarze biegną wokół wirydarza, do nich przylegają cele, zachował się również refektarz sklepiony kolebkowo z lunetami. W korytarzach i pozostałych pomieszczeniach sklepienia krzyżowe. Wraz z nową fasadą kościoła zbudowano furtę klasztorną zwieńczoną późnobarokowym szczytem. W korytarzu między klasztorem a kościołem znajduje się rzeźba chrystusa w grobie autorstwa zakonnika Junipera Wrocławskiego w 1761 r. Rzeźba ta znajdowała się niegdyś w kapliczce koło świątyni, rozebranej po zbudowaniu groty w 1930 r.
Obok kościoła na placu znajdują się dwie kolumny z piaskowcowymi figurami św. Jana Nepomucena z 1784 r. i Matki Boskiej Niepokalanej z 1763 r. Plac przykościelny (dawny cmentarz) otoczony jest murem z wbudowanymi stacjami Męki Pańskiej z 1931 r. z obrazami w rokokowych ramach. Ponadto znajduje się tu zbudowana w 1929 r. grota z piaskowca żelazistego z Olewina na wzór groty w Lourdes.