Powstało z fundacji Katarzyny Zamoyskiej, zarządzane przez Kapitułę. Erygowane 20 III 1640 p.w. Poczęcia Błogosławionej Marii Dziewicy. Uczęszczało do niego 12 alumnów z terenu ordynacji. Pożar w 1658 przerwał działalność seminarium (pewną liczbę kleryków wychowywano nadal przy Kolegiacie, był też cały czas prefekt seminarium). W 1663 Stefan Zamoyski zapisał na seminarium 10 tys. zł, z których odsetki miały być na 5 kleryków, ale ponad 20 lat nie przekazano tych środków. W miejscu spalonego budynku drewnianego na przełomie XVII/XVIII w. stanął zapisany potem Kapitule dom A. Szańskiego. W 1752 rozpoczęto jego przebudowę wg proj. Jerzego de Kawe.
2 I 1758 w 2-piętrowym gmachu (23 izby) otwarto ponownie seminarium, teraz p.w. Niepokalanego Poczęcia NMP. Znacznym zapisem obdarowali je w 1766 Teresa i jej syn Klemens Zamoyski (20 tys. zł). Z czasem uczyło się do 20 kleryków. Łącznie przyjęto 110 alumnów (co dziesiąty z Zamościa). Decyzją z 29 IV 1784 seminarium skasowano. W lutym starosta zamojski zajął wszystkie nieruchomości, a alumnom zalecił udanie się do Lwowa. Jedynym rektorem tego wzorowo urządzonego seminarium był przez cały czas ks. Dominik Rydulski. Następne święcenia odbyły się okazjonalnie dopiero 15 VI 1969 (bp E. Ilcewicz w Kolegiacie), a już regularne z powstaniem diecezji (seminarium w Lublinie).
Budynek przejęła kasa cyrkularna, później wojsko, w 1809 jako jeden z nielicznych zniszczony przez granaty. Ulokowano tam koszary dla 40 żołnierzy. W 1818-66 mieścił się tu korpus inżynierów (na planie z 1818 Pawilon dla 8-mu Officyerów Inżenieryi). W 2 poł. XIX w. znalazła tam miejsce kasa powiatowa, następnie kolejne instytucje finansowe, od 1919 Urząd Skarbowy (wówczas także krótko biuro paszportowe), Wydział Finansowy (od 1950), PZU, także ORMO, PCK, ZBoWiD), ostatnio Urząd Gminy. Były też mieszkania (m.in. Zbigniew Steller, także Gembalowie, Horeccy, Cichowscy, Koczułapowie). Gruntownie remontowany był w 1859 (zachowała się chorągiewka z datą). Po renowacji w 1998-99 mieści rektorat WSZiA (ul. Akademicka 4).
Obiekt zwraca uwagę efektowną, późnobarokową fasadą z korynckimi pilastrami w tzw. "wielkim porządku". Reprezentacyjną sień na parterze zdobił rzadki motyw wnęk konchowych. W dawnym refektarzu (I p.) zachowała się dekoracyjna posadzka z czarnego dębu z winklami i krzyżami w tafle (1780). Posiadał trzykondygnacyjne (?) podziemia (w tradycji mieszkańców mieszkańców d. krypty) i korytarzem prowadzącym w stronę pałacu.
Z seminarium nierozerwalnie związana była zabudowa przylegającej do niego od południa działki. W 1977 darowany został przez Adama Radeckiego pod budowę stajni, 2 komórek i kuchni seminaryjnej. Ostatecznie, wobec likwidacji seminarium powstał 2-piętrowy magazyn, którego parter stanowiła wielka hala (15x22 m), którą ordynaci dzierżawili władzom austriackim na zsypkę liwerunkową. Zrujnowany podczas oblężeń, odbudowany, służył jako skład rzeczy wojskowych, od l. 80. XIX w b. magazynach mieściła się kasa powiatowa. na pocz. XX w. rozebrany, powstała później niższa zabudowa.
* Ze wspomnień mieszkanki T. Diug - duży pokój na piętrze, ze 40 m, 4 m wysoki, z zielonym piecem...