W 1 poł. XVII w. płaski teren położony za południową zalewą, przy trakcie żdanowskim (ob. Zamczysko), skąd rozciągał się rozległy widok na Zamość. Na tym krasnym, czyli pięknym, brzegu, czyli w najpiękniejszym miejscu z powodu równiny, która pięknie się rozciągała, jak i z powodu bliskiego położenia lasu, który nie przerażał, lecz przyciągał oczy... w 1628 wzniesiono tym mianem nazywaną podmiejską rezydencję Tomasza Zamoyskiego (proj. Jan Jaroszewicz).
W 1633 gmach za stawem rozbudowany został przez Andrzeja dell'Aquę (wg niego konfuzyja nie budynek, w którym ani proporcji, ani chodzenia tajemnego do białogłów, bo zawsze obaczą). Powstał piętrowy budynek (69x15 m), łączący cechy dworu, pałacu i warownego zamku. Budowla otoczona była rozległymi pseudofortyfikacjami naśladującymi 7-boczny narys Zamościa (dł. 195, szer. 184 m), Obok znajdował się ogród (Zieleń miejska), a w pobliskim lesie Zwierzyńczyk. Przeznaczony był dla następcy ordynata. Podejmowano w nim ich najznakomitszych gości. W krótkim jednak czasie, jak pisał prof. Akademii Jan Bytomski, stał się otworem dla gwałtu i rozpusty, co łączono potem z III ordynatem, a należy wiązać z oblegającym kozactwem.  Los obiektu dopełnił się ledwie po 20 latach. 
Pałacyk podczas oblężenia w 1648 spalono wbrew rozkazowi Bohdana Chmielnickiego, za co 12 sprawców w ogień żywcem wrzucił (miejscowe podanie mówiło potem o 12 zbójach, którzy ukrywali się w podziemiach zamku i zostali żywcem spaleni). Nigdy nie został odbudowany. 4 III 1674 Stanisław Koniecpolski zezwolił na jego rozbiórkę, wykorzystując cegłę do naprawy murów miejskich. Jego ziemne relikty uchodziły potem za miejsce po zamku na Skokówce. Na ślady budowli natrafili w 1982-84 archeolodzy identyfikując je jako krasnobrzeską budowlę.
Wg dr Bogumiły Sawy pałacyk wzniesiono za stawem na Kępie Stawowej (ob. Rotunda). Ta lokalizacja wobec rozmachu inwestycji (majestatyczny pałac, dach niezwykłej wysokości, mury i fosy w rodzaju obwarowań), trudna byłaby na niewielkiej, rozczłonkowanej Kępie. Ok. 200-300 m od murów ciężko też zinterpretować jako gmach za stawem. Od tej strony (zalew) i na taką bezpośrednią odległość nie możliwe było podejście i działania Kozaków (spalenie, grabieże).

 * Wg opisu prof. Bytomskiego była to budowla znana z krużganków, sypialni, jadalni, z największymi i najpiękniejszymi kobiercami pośrodku, z piecami i z najelegantszym dziedzińcem. Dach był niezwykłej wysokości z powodu podwójnych komnat na dole i wielkich sal na górze. Prof. W. Zin uważał, że jeśli istniały ozdobne piece i wielkie kobierce, to musiały być i rzeźbione stropy, kominki, wspaniałe portale, ściany wybite oponami lub pokryte malowidłami. Jeśli był tu najelegantszy dziedziniec to z krużgankami, a może, jak na Wawelu, z malowanymi fryzami.
  * Wg Bytomskiego - Zamek stanął nakładem Tomasza Zamoyskiego. Ten więc pałac podejmował samych najświetniejszych  mężów i dostojników mimo, że został przeznaczony do kształcenia w chłopięcym wieku obecnego pana (Sobiepana). Później stał się otworem  dla gwałtu i rozpusty, dla najbardziej haniebnych i najbardziej niegodnych ludzi. W całym domostwie zatrzymywali się, gościli się z największym przepychem i zajmowali gospodarstwem oszuści. Przemilczał jednak ich nazwiska.
  * Nowy obóz dla jednego regimentu, którym dowodził Hładki – aby otoczyć nas kręgiem i uczynić oblężenie pełnym – [wrogowie] założyli poza stawem wokół dworu zwanego Krasnobrzegiem, który był wspaniałą budowlą, otoczoną murowanym płotem. Znajdował się on naprzeciw miasta od strony południowej, o przepięknym widoku i w nader urokliwym miejscu, tak ze względu na równinę, która wspaniale się rozciągała, jak i z powodu bliskości lasu, który nie przerażał, lecz zachwycał oczy świeżością drzew; tworzył on także zwierzyniec szeroko otoczony płotami, założony celowo dla rozrywki umysłów właścicieli i pełen rozmaitych dzikich zwierząt. Pomiędzy samymi murami a fosą (co z wyglądu przypominało umocnienie lub zameczek) od południa ku zachodowi rozciągał się ogród, kunsztownie obsadzony drzewami i egzotycznymi roślinami. Sam gmach był znakomity (ponieważ cały jego ciężar podtrzymywał mur sklepień wyprowadzonych od samej ziemi), {wyposażony w} krużganki, komnaty, jadalnie oraz znajdujący się pośrodku nader przestronny i przepięknie wybrukowany elegancki dziedziniec z paleniskami. Składał się z dwóch skrzydeł, z których jedno wznosiło się ku wschodowi, drugie zaś ku zachodowi, z powodu rywalizujących ze sobą rąk rzemieślników wzdłuż daleko się rozciągał. Dach miał podziwu godną wysokość ze względu na kunsztownie przedłużone, podwójne wewnętrzne piętra: dolne i górne. Wzniesiony został kosztem Tomasza Zamoyskiego, kanclerza Królestwa. Gdy więc ów pałac, który niegdyś przyjmował najprzedniejszych mężów i dygnitarzy dla uciechy ich umysłu i ciała oraz miał służyć wychowywaniu dorastającego syna, a obecnego Pana [Jana Sobiepana Zamoyskiego] (którego losy - o co żarliwie się modliliśmy - sprowadziły z cudzoziemskich stron nienaruszonego w czasie owej klęski i sromotnego spustoszenia Zamościa, jego dziedzictwa i prosimy, aby długo żył w zdrowiu ku pociesze i ozdobie Ojczyzny), stanął otworem dla najbardziej nieczystych i najbardziej zatraconych ludzi, za sprawą ich siły i bezkarności. Obozowali, gościli się i żyli niczym na wsi {ci} synowie ciemności w tak wielkim blasku nader ozdobnego domostwa. (J. Bytomski w tłum. J. Bartkowskiej)
 * Badania wykopaliskowe prowadzone przez dr Irenę Kutyłowską podawały o odnalezieniu – ułomków cegieł, licznych fragmentów dachówki karpiówki, tynków, grud zaprawy i polepy, węgli drzewnych, kawałków taśm ołowianych do szklenia okien, kafli piecowych..