V roce 1782 byla v nově založené pevnosti Terezín vystavěna vojenská nemocnice, známá jako tzv. vrchlabská kasárna. Sloužit měla výhradně císařské armádě, jejíž posádka v pevnosti čítala stovky mužů. V tehdejší době šlo o jednu z nejmodernějších nemocnic v celé monarchii - tamní vybavení a dispozice předběhly dobu.

Po celé 19. století byla nemocnice stabilní součástí pevnosti. Sloužila především vojenskému personálu, později i civilistům. Důležitým mezníkem se stal rok 1918, kdy tu - v přísně střežené části objektu - zemřel Gavrilo Princip, atentátník na následníka rakouského trůnu Františka Ferdinanda d’Este.

Byl vězněn v nedaleké Malé pevnosti na druhé straně řeky Ohře. Podmínky miniaturní cely bez denního světla si vybraly svou daň a muž, který svým činem nastartoval chod dějin celého 20. století, tak podlehl tuberkulóze kostí právě pod střechou posádkové nemocnice.

Během druhé světové války sehrála nemocnice zcela jinou roli. V letech 1941-1945 sloužila jako zdravotní zařízení židovského ghetta v Terezíně. Podmínky byly zoufalé: nedostatek léků, přeplněnost a naprosté hygienické minimum. V přilehlém objektu Kavalír 8 byli drženi starší a psychicky nemocní vězni. Ghetto fungující pod židovskou samosprávou tehdy vzniklo v pevnosti, tedy tam, kde je dnes fungující město Terezín a kde stojí i vojenská nemocnice, zatímco z Malé pevnosti za řekou si udělalo pražské gestapo věznici. 

Přesto se ale najdou tací, kteří na tehdejší Terezín vzpomínají až překvapivě v dobrém. Spisovatel Arnošt Lustig, který ghettem prošel, ve své knize Zpověď píše: "Jako ve všem, co člověk prožívá, to každý vidí vlastníma očima. Tak i já vidím Terezín svýma očima. Očima šestnáctiletého, což je úplně jiné než očima matky, které bylo čtyřicet, nebo očima tatínka, kterému bylo devětačtyřicet."

"Mně se Terezín jevil jako New York. Bylo to takové zvláštní město. Zřejmě všude, kde člověk vyrůstá, to v něm zanechá unikátní, abych použil to slovo, stopy. Tak například jsem tam poprvé políbil holku. Byla tam jistá Káťa Cihrlová. Slíbila, že mi ukáže všechno, co znamená ženské tělo, když jí přinesu růži ze zahrady německého komandanta," popisuje Lustig dospívání za zdmi ghetta.

Po válce se nemocnice krátce otevřela veřejnosti, ale brzy ji opět převzala armáda. V socialistickém období byla zařazena mezi posádkové nemocnice Československé lidové armády, a to až do roku 1997, kdy byla armádní zdravotní služba v regionu zrušena. Následně nemocnice sloužila ještě krátce jako sklad léčiv a zdravotnického materiálu pro Ústřední vojenskou nemocnici Praha.

Od konce 90. let objekt chátrá - a přestože jde o kulturní památku, nikdo zatím nedokázal najít trvalé využití. Město Terezín nemá kapacity stavbu převzít, a armáda se dosud nerozhodla, jak s objektem naložit. Zvažovaly se projekty na zřízení humanitárního centra, rehabilitační kliniky i muzejní expozice, žádný záměr však zatím nedospěl k realizaci.