Pierwotną siedzibę Akademii Zamojskiej z 5 audytoriami i 9 komnatami oraz przyległą wieżą (zegar, obserwatorium?) urządzono w "hippeum". W zależności od interpretacji nazwy (dosłownej lub przenośnej) mieściła się w gruntownie przebudowanej w 1593-95 okazałej stajni hetmańskiej (w miejscu scholasterii?) lub w tym czasie powstałym nowym gmachu (rozbudowanym potem do czworoboku).
W 1627 ogień poważnie uszkodził zabudowania Akademii. Znany mam obecnie gmach ufundowali Tomasz i Katarzyna Zamoyscy, a kamień węgielny kładł 27 VIII 1639 ich syn Jan (sprowadzony w głąb przez rektora własnymi rękami w fundamencie umieścił). Była to więc być może rozbudowa istniejącego obiektu (skrzydło płn. i wsch.) do formy czworoboku, wg projektu Jana Jaroszewicza lub - jak się ostatnio sądzi - Andrzeja Dell'Aquy, zakończona zasadniczo w 1649. Znalazły w nim miejsce także biblioteka i drukarnia, stancje studenckie i mieszkania bezżennych profesorów. Gmach z gontowym dachem przyozdobiły grzebieniowe attyki (widoczne na obrazie bukowińskim, z końcem XVII w. rozebrane), wysokie dachy znane z przekazów już z 1711. Padł ofiarą kilku pożarów miasta, szkody latami nie były naprawiane. Przez dziesięciolecia między "attyką" a "mansardą", gmach przykrywał ...płaski, a potem wysoki dwuspadowy dach.
Później powstały bramy: wsch. (1667 porta wielka ab oriente, wrota obite blachą, zamykane na kłódkę gdańską), zach. (ok. 1704, w 1720 w zwieńczeniu portalu umieszczono obraz św. Jana Kantego) i płd. (ok. 1720). Pierwszy zegar  umieszczono w ścianie budynku. W 1734-40 przed skrzydłem wsch. wzniesiono wieżę zegarową z kopułą (starą rozebrano kilkadziesiąt lat wcześniej). Obszerny dziedziniec był otwarty z dwu stron arkadowymi podcieniami Na środku stała studnia, zw. Wodą św. Jana Kantego)  Szpeciły go stojące wówczas także przy zewnętrznych ścianach stajnie profesorskie, a nawet obórki i chlewy. Na dziedzińcu panował brud, rzadko wywożony gnój. Obraz zaniedbania kreślił prof. Pawołowicz - Akademia Zamojska tak upada, że belki przegniłe, dach wszystek opadł, sklepienia niedawno przemurowane przemakają. Do przebudowy gmachu doszło w 1752-61 wg projektu Andrzeja Bema (do pracy przystąpiło 24 majstrów murarskich). Dopiero wtedy ostatecznie wykończony obiekt uzyskał pełną regularność.
Wzorcowe rozplanowanie gmachu o ścisłej symetrii i osiowości z krzyżowym układem komunikacyjnym nawiązywało do rozwiązań architektonicznych kolegiów jezuickich i należy do wybitnych osiągnięć w dziedzinie architektury szkolnej XVII i XVIII w. Powstały wówczas modne mansardowe dachy z holenderskiej dachówki (sprowadzona z Lipska), jednocześnie rozebrano wieżę. W pomieszczeniach i na elewacjach znalazły się polichromowane dekoracje (motywy roślinne i rocaille, malowanie w architekturę). Jasnożółty gmach pokrywały czerwone płyciny i lizeny. W 3 salach,  m.in. Retoryki, były polichromie o treści religijnej (w jednej drzewa i figury filozoficzne suchą farbą malowane). W trzyokiennej kaplicy (czynna od pocz. XVIII w. na parterze w płn.-zach. narożniku, w czasie zaborów cerkiew) freski na ścianach przedstawiały różne historie kościelne (mal. Jan Siarczyński). Kaplica posiadała srebrną lampę i lichtarze, drewniany krucyfiks, liczne wota.
Po utracie w 1809 funkcji szkolnych rozebrano w 1844 mansardowe dachy, zamurowano arkady w dziedzińcu, usunięto portale (wyceniony wówczas na 639 tys. zł - ok. 30 mld. st.zł w 1997). Później dokonano podziałów we wnętrzach, dobudowano też od ul. Pereca kloakę zwaną petersburską (w 1942 rozebrana), a gmach pełnił funkcje wojskowe (w 1818 - kwaterowało 1100 żołnierzy, 2 ćw. XIX w. - koszary piechoty), a po kasacie twierdzy wróciły szkoły. Obok dwu progimnazjów mieścił się internat, pocz. 2, potem 3 pomieszczenia (40 uczniów) z kuchnią, też klasy szkoły elementarnej miejskiej (aż do I wojny). W 1907 wyliczano też obok szkół 2 internaty, 2 szpitale (?), cerkiew dla młodzieży i mieszkania dla nauczycieli.
W czasie I wojny zajmowały tylko płd. skrzydło (w pozostałych m.in. sąd, kasa powiat., komenda placu, straż obywatelska). W 1920 figuruje jako własność Ministerstwa Rolnictwa i Dóbr Państwowych. W 1914 i 1939 gmach zajmowano na szpital wojenny.
Po odzyskaniu niepodległości na piętrze mieściły się gimnazja, na parterze seminarium i mieszkanie dyrektora (w narożu pn.-zach. z werandą i ogródkiem warzywnym - ob. boisko) i nauczycieli (m.in. Michał Pieszko), w kaplicy urządzono salę gimnastyczną, a aula od malowania nazywana była "salą bławatną". Początkowo gimnazjaliści uczyli się od 8 do 13, a gimnazjalistki od 14 do 19. W 1920 odbył tu naradę Józef Piłsudski, a w 1927 zwiedzał gmach prezydent Mościcki. W 1939 był tu szpital wojskowy. W okupację od X 1939 zajęty na koszary (wraz z aresztem) żandarmerii polowej ("blacharze"), m.in. pułku z Düsseldorfu, później policjanci ukraińscy. Po tym okresie pozostały na ścianach sceny triumfu żołnierza niemieckiego, ordynarne malowidła pruskie, a w auli setki pisuarów. Elewacje miały cielisty, czy jak bardziej dosadnie mówiono, majtkowy kolor.
Również powrót szkół (gimnazja i licea) do gmachu nie spowodował przywrócenia mu dawnego blasku, w 1958 zainstalowano c.o. Dokonano częściowych badań obiektu, których efektem było m.in. odkrycie arkad na dziedzińcu (1968). W późniejszym czasie odkryto w płn. skrzydle przy oknie ciekawe, mające charakter moralitetu polichromie z przełomu XVII/XVIII w. (1995). W 2020 doszło do odkrycia pod tynkiem na ścianach i sklepieniach dwu pomieszczeń parteru (d. kaplica) w części malowanych przez Siarczyńskiego bogatych barokowych, częściowo iluzjonistycznych polichromii. Po konserwacji, od 2023 stały się największą atrakcją tego zabytkowego gmachu (Polichromie w gmachu Akademii).
Dziedziniec w ostatnich latach służył okazjonalnie do seansów kina pod gwiazdami. Do wyprowadzki II LO, męskie mieściło się w północnym i częściowo zach. i wsch. skrzydle, a symetrycznie żeńskie, na parterze w płn. skrzydle Technikum Mechaniczne. Od 2005 gmach był siedzibą rektoratu PWSZ. Wśród wielu pomysłów na nową funkcję gmachu była siedziba WSP (1969). W 2019 przystąpiono do rewitalizacji obiektu.

 * Hippeum - szkoła rycerska, szlachecka (od greckiego hippon - stajnia, lub ippeion - ujeżdżalnia).
 * Przed 1784 w reprezentacyjnej, zach. części gmachu były sale wykładowe a w półn.-zach. narożniku kaplica, na piętrze zaś biblioteka i muzeum fizyczne a pomiędzy nimi również sale wykładowe. W pozostałych skrzydłach - drukarnia (4 pomieszczenia), sala rysunkowa, kuchnie, 2 małe sale wykładowe oraz mieszkanie profesorów (czasem nawet 4 izby) i studentów. Sanitariaty znajdowały się w połudn.-wschodnim narożnik.
 * Zajęte przez wojskowych akademii gmachy; wymazane słowa: Facultas Philosophiae, Theologiae, Medicinae, Bonarum Artium; zabrały miejsce ich  napisy: Kordegarda, Urząd ubiorczy, Izba oficerów, i.t.d. Gdzie w poważnych togach sędziwi uczeni mężowie, ze smutkiem spotyka się powolnym krokiem chodzących, wybladłych, chorych żołnierzy (J.U.Niemcewicz w 1816).
 * W 1882 restaurowano bramę wjazdową z kolumnami, następnego roku pod jedną  z nich (wypadek) zginęła osoba.
 * Wnętrze było raczej ponure, przygnębiające i nic nie pomagało jego przeszłość historyczna. Więc przeciwnie - to właśnie jego przeszłość i brak współczesności powodowały, że sprawiał wrażenie katakumb, lochu i kościoła równocześnie. Wysokie, sklepione łukami korytarze, małe okna powodowały ciągły półmrok. (ze wspomnień absolwenta Liceum, za "Tygodnikiem Zamojskim", 2016)
 * Prof. W. Zin - Teren zajmowany przez obiekt jest to jeden z największych budynków w polskiej architekturze - odpowiada wielkości rynku  miasteczek włoskich ówczesnego okresu. Na dziedzińcu Akademii jest miejsce na uliczki, na studzienkę, z powodzeniem można odtworzyć wygląd XVII-wiecznego dzieła. ("Kurier Lubelski" z lipca 1969)
 * Odkryte w 1995 polichromie miały charakter moralitetu, przedstawiają - po lewej stronie okna  św. Stanisława jako dziecko z nauczycielem w todze z biretem, po prawej jako ucznia św. Kazimierza Jagiellończyka także z nauczycielem, wg. podpisu Janem Długoszem. Obaj zmarli młodo, święci mieli być wzorem cnót dla młodzieży.
 * Pamiątką po niemieckich koszarach stało się odkryte w 2000 na piętrze malowidło na ścianie z podpisem Vien, Schönbrunn, 1940, L. Drummer. (dzieło skoszarowanego tu Niemca, prawdopodobnie Austriaka), decyzją konserwatora zamalowane.