W 1820-66 więzienie warowne w Zamościu uważane było za najpewniejsze i najcięższe miejsce kary, będące przez około pół wieku postrachem całego Królestwa Polskiego. Odbywano kary więzienia warownego (dożywotnio lub 10-20 lat) i ciężkiego (3-10 lat). Jego lustracji dokonywał często ks. Konstanty. Szczególnie złej sławy wśród więźniów był komendant twierdzy Józef Hurtig. Jego przeciwieństwem był gen. Aleksander Opperman, w miarę możliwości starający się ulżyć losowi więźniów. Wśród dowódców Kompanii Poprawczej najbardziej ponurą sławę prześladowcy zyskał mjr Rozmysłowski.
Więźniowie podzieleni byli na trzy kategorie, z różnymi, czarnymi znakami na plecach: "terminowi" (kwadrat), włóczędzy" (romb) i "stali" (koło). Więźniowie przebywali w niezwykle surowych warunkach. Golono im pół głowy (co tydzień), nosili buty z bardzo grubej skóry, grube drelichy z naszytą łatą na plecach i szare czapki. Do nóg mieli przykute 18-funtowe (dezerterzy 48-funtowe z łańcuchami o 25 ogniwach) kule, bądź same łańcuchy skuwające lewą rękę i prawą nogę, przykuwani do taczek. W czasie marszu owijali się łańcuchem, a kulę zarzucali na plecy. Komorowski wspomina, że były to kule 12-funtowe - zawieszał ją na haku u pasa. Więźniów najciężej ukaranych nie wypuszczano prawie z kazamat i nadszańców, to też wielu z nich zapadało na zdrowiu i umierało. Spali na pryczach bez posłania.
Więźniowie z roty używani byli do najcięższych prac przeważnie przy fortyfikacjach (sypanie wałów, ciosanie kamieni, lasowanie wapna, szlamowanie fos), latem pracując od 3 do 11 i od 1 do 6 lub 7 wieczorem, również w niedzielę (wolne były tylko 4 dni świąteczne w ciągu roku). Z rana po zbiórce i pacierzu każdy otrzymywał pół bochenka chleba i pół kwaterki wódki. dwa dni ciepłą niemięsną potrawę, na trzeci dzień chleb i wodę. Strawą była najczęściej grochówka albo krupnik ze starym sadłem. Na utrzymanie więźniów rząd przeznaczył 5 gr pol. Z pomocą materialną spieszyli więźniom czasami okoliczni ziemianie.
Bezwzględność, nieludzkie szykany powodowały, iż nie bacząc na nikłe szanse próbowano ucieczki (osobne hasło) ze ściśle strzeżonej twierdzy. W próbę buntu zamieszany był najbardziej znany więzień twierdzy zamojskiej Walerian Łukasiński. Z wybuchem powstania listopadowego okazało się, że wśród więźniów było 12 osób (8 wojskowych, 3 cywili - Kurzewscy, Boczkowscy oraz ksiądz) bez sądu, od kilku lat jęczących w ciemnicach, i nawet rozkaz cara okazał się bezskuteczny. Gdy wybuchła wojna krymska wysiadujący łagodniejszą karę w Zamościu ułaskawiono jednem pociągiem pióra.
Za działalność patriotyczną więzieni tu byli m.in. gen. Józef Załuski (po 1831), kapelan i generał powstańczy ks. Stanisław Brzóska, Aniela Kozłowska, ks. kan. Bojarski, bernardyn Dydak Świca (1 miesiąc), ks. Michał Wiśniewski, ks. Antoni Studziński (wikariusz z Kolegiaty), reformat Eustachy Stępniewicz (4 m-ce), Michalina Wodzyńska (17-letnia, za udział w powstaniu na 1,5 roku), Lucyna Skrzyńska (ranna, w szpitalu i twierdzy w Zamościu), Artur Rudnicki (ziemianin, oficer skazany na śmierć, zbiegł z Zamościa), Józef Odrzywolski (ziemianin, walczył pod Lelewelem, skazany na Sybir), Antoni Bieńkowski (po bitwie w 1863 jeńcem, rok w twierdzy). Jan Bogdanowicz (czł. Centralnego Komitetu Narodowego), Wiktor Dobrosielski, Kazimierz Walentynowicz (za udział w powstaniu 1863), Józef Łusakowski (działacz emigracyjny), Seweryn Wierciński (zbiegł z twierdzy, zm. na emigracji w Paryżu), Antoni Wereszczyński (zesłany na Sybir),  Jan Rayski, księża: Archanioł Gorczyca, Baltazar Paśnikowski i Mikołaj Kulaszyński, literaci: Edward Stawecki, Aleksander Niewiarowski, Aleksander Krajewski, Hipolit Skimborowicz, Edward Leo, August Wilkoński, Kazimierz Wójcicki (wydał Klechdy polskie), Józef Kurzewski (w Zamościu napisał 2 wydane potem powieści), a także Władysław Krajewski, Tomasz Surzycki i Lejzor Goldsobel (znani lekarze), Józef Lubowidzki i Henryk Łubieński (dyrektor i prezes Banku Polskiego), prof. Marian Brzozowski (historyk), Ignacy Czerwiakowski (uczony botanik), malarz Józef Wilczyński, prof. Adrian Krzyżanowski.
Na cmentarzu Łyczakowskim we Lwowie jest grób Józefa Zagórowskiego (1821-1878) przez 14 lat więźnia w kazamatach zamojskich (za zabójstwo słynnego szpiega i komisarza policji Czelaka). W twierdzy trzymano też Rosjan występujących przeciw władzy, jak poeta Władimir Rajewski.
Wśród mniej znanych ale wielu ciekawych postaci byli dawny emigrant Dębski, wojskowy Suchecki, niezły lingwista Kwilecki, syn doktora z Buska Stygowicz (z natury elegant, z podgoloną głową, zawsze wesół i dobrej myśli, żartował sobie z ciężkich kajdan), jeden z więzionych braci Kaliszów - Marian, ciężko chory na gruźlicę - ateista, jego religią była własna siła moralna i charakter, wyższej umysłowości człowiek.
Czas, gdy nawet ptactwo świergotem naśladowało szczęk kajdan - opisała w 1850 Paulina Wilkońska  (Moje wspomnienia..., Warszawa 1959). Więzienie opisał też służący tu w 1827 w wojsku W. Goczałkowski (Wspomnienia, Kraków 1862) oraz więzień M. Dobrzycki (Pamiętnik, Lwów 1875). Przez rok w zamojskim więzieniu przebywał Ignacy Rzecki (Lalka B. Prusa).

 * Mikołaj Dobrzycki (więzień, pamiętnikarz) bardziej szczegółowo przedstawia wyżywienie więźnia. Z rana dostawali półtora funta  chleba, na obiad krupnik z kaszą jęczmienną, najczęściej stęchłą, 1/3 funta mięsa z różnymi flaczkami i wątrobami, na kolację kaszę i groch zmieszane, na pół przegotowane, czasem kartofle z kaszą, kluski z grochem lub kaszą, okraszone na szaflik dla 10 osób 3 łyżkami starego sadła lub słoniny. Około 6-tej, jako gratyfikację za cały dzień dostawali wódkę, czasem zamiast - pytlową bułkę lub tytoń. Pracę więźnia wyceniano na 10 gr dziennie, miesięcznie 10 zł, komendant za pranie, golenie, szuwaks do butów potrącał 2 zł (szuwaks z łyżki tłuszczu i tłuczonego), a buty musiały lśnić, bo inaczej były kije. Na ponad 400 dni Dobrzycki zapamiętał tylko 6 dni, gdy  przerwano pracę ze względu na pogodę.
 * W zamojskim więzieniu powstały dwie powieści, których autorem był Józef H. Kurzewski: Echo. Powieść romantyczna oryginalna wierszem napisana w więzieniu Zamościa (Warszawa 1831, nast. wyd. Kraków 1832) oraz Mizantrop czyli nienawiść ludzi pisany w więzieniu w Zamościu (Warszawa 1831, 1838, 1843)
 * Więźniem Rosjan w zamojskiej twierdzy był Salomon Justyn Balsamin …cesarzewicz arakański, królewicz peguański, wielki książę indyjski i następca tronu, wysłany do Napoleona, pozostał w Polsce - barwna postać samozwańca i mitomana, który zginął chwalebnie jako …powstaniec listopadowy.
 * Przerażający widok, kiedy kilkaset kajdan zrzucono z nóg nieszczęśliwych. Gdy radzono co z temi kajdanami zrobić - z tłumu - pomnik dla Haukego i jemu podwładnych. ("Podchorąży" z 1830 nr 6)
 * Z pamiętnika więźnia Szymona Tokarzewskiego - w Zamościu przesiedział kilka miesięcy donosiciel Zientkiewicz. Pocieszny odczytano mu wyrok "dla braku rozumu posłać do do Zamościa"
 * 25 IX 1863  lekarz Krowicki ze Zwierzyńca i Kwiatkowski z Krakowa na chwilę odeszli by bułkę kupić, placmajor kazał wymierzyć im 300 rózg (gdy złodziejowi kiedy indziej 25). Zwołani na pokaz wszyscy więźniowie otoczyli ich, że bagnetami raczej usunąć ich można było, zbiry udały się do majora, ale ten nie pokazał się, i chłosty nie wykonano. ("Gazeta Narodowa" 18 X 1863)
 * Wg C. Kuncewiczowej w Bramie Szczebrzeskiej miała być więziona Narcyza Żmichowska. Na pewno w Zamościu służył jej brat por. artylerii Erazm Żmichowski.
 * Więźniowie też zatrzymywali się w tylko Zamościu, wędrując na Syberię - W tej podróży doznałem wiele przykrości, bo jechałem wielką frachtową bryką i w towarzystwie kilku żydów. Musiałem z nimi szabasować w Zamościu, przeziębiłem się w drodze i doznałem wielkiego strzykania i kłucia w lewym uchu (ks. S. Matraś).