Jiřetín je typickým renesančním horním městem s pravidelným šachovnicovým půdorysem. Jeho základem je čtvercové náměstí, kolem něhož se rozvinula pravidelná síť navzájem kolmých ulic ve směru čtyř světových stran. Mezi nimi byly vyměřeny čtvercové domovní bloky, na jejichž straně stály vždycky tři domy. Díky tomu město nikdy nevyhořelo celé. Například v roce 1581 padlo za oběť ohni 14 domů, v roce 1619 tři.
Protože se Jiřetín již od poloviny 19. století prakticky nerozvíjel, zachoval se dodnes jako mimořádně hodnotný celek a jeho centrum bylo proto v roce 1992 vyhlášeno městskou památkovou zónu.
Uprostřed náměstí stojí původně renesanční kostel Nejsvětější Trojice. Kostel tvoří obdélná jednolodní stavba s trojboce ukončeným presbytářem, který je sklenutý valenou klenbou s lunetami a hřebínky, dosedající na pilířky s římsovou hlavicí. Na severní straně lodi je zachován hrotitý renesanční vstupní portál s postranními nikami, další hrotitý portál vede do sakristie v podvěží. Na severní straně kostela byla později přistavěna věž, dokončená před rokem 1664, kdy na ní byly umístěny nové zvony. Když se v roce 1783 horní část věže zřítila, byla postavena nová barokní věž, na jejímž vrcholku byla v roce 1793 osazena kupole, pocházející údajně z některého zrušeného kláštera ve Štýrsku.
V jihovýchodním rohu náměstí vedle kostela stojí výstavná fara s hospodářským dvorem, postavená v letech 1753-1755 místo původní dřevěné budovy z roku 1616, která v roce 1750 vyhořela. Barokní jednopatrová budova s mansardovou střechou je považována za nejhezčí jiřetínský dům a údajně patří k nejhonosnějším objektům svého druhu v severních Čechách. 12. září 1998 bylo v jejích prostorách otevřeno muzeum, které přibližuje nejstarší minulost obce, historii hradu Tolštejna a především dávné dolování drahých kovů.
Za kostelem roste přes 30 m vysoký Jubilejní dub, který tu byl spolu s pamětním kamenem zasazen v roce 1908 na paměť 60-letého výročí panování císaře Františka Josefa I. V jeho sousedství je stejně starý buk červený, vysoký 27 m. Oba stromy byly v roce 2015 prohlášeny za památné.
