Na místě někdejšího popraviště zvaného Na stínadlech nechala kněžna Anna Marie Vilemína z Lobkowicz roku 1726 vystavět kapli sv. Viléma, patrona všech odsouzených.
Stavbu kaple iniciovala kněžna Anna Marie Vilemína z Lobkowicz (rozená z Althannu) a prováděl ji pravděpodobně stavitel Petr Pavel Columbani podle návrhu litoměřického architekta Octavia Broggia.
Stavba se vyznačuje obdélníkovým půdorysem s dynamicky prohnutým průčelím, s postranními pilastry nesoucími kladí s bohatě profilovanou římsou. Na průčelí se štítovým nástavcem byla snad umístěna freska od Václava Vavřince Reinera. Vedle štítu se nachází sochy sv. Jeronýma a Marie Magdalény. Portál je obložen pískovcovým profilovaným pažením a korunován volutami. Na nich sedí dva andílci držící alianční lobkowiczko-althannský erb s monogramem "F v A" (Fürstin von Althann). Střechu tvoří kopule s lucernou na pandantivech.
Architektonicky prostý vzhled interiéru je zvýrazněn freskami Václava Vavřince Reinera. V rozích na pandantivech jsou vymalovány alegorie víry, naděje, lásky a spravedlnosti. Nad nimi se rozprostírá freska představující sv. Trojici s holubicí trůnící na oblacích, která je obklopena a nesena anděly. Velký kříž pak symbolizuje umučení Páně. Hlavní oltář je dozdoben obrazem znázorňujícím patrona kaple sv. Viléma.
Díky dokonalému souznění všech malířských, sochařských i architektonických prvků se kaple řadí mezi skvosty českého vrcholného baroka.
