Svoje meno dostal podľa vlastníka, jedného z najbohatších banskoštiavnických ťažiarov Leopolda Fritz von Friedenlieba. Pôvodne renesančný jednoposchodový dom leží priamo na žile Špitaler a podzemný priestor je vyplnený pivničným komplexom. V druhej polovici 18. storočia bol celý dom prestavaný a v roku 1891 ho odkúpil banský erár, ktorý ho celý zrenovoval podľa návrhu profesora Kresliarskej školy v Budapešti Schuleka a staviteľa Herritza. Zámerom prestavby bolo využitie budovy pre potreby Banskej akadémie. Tomu sa prispôsobila aj výzdoba fasády s baníckymi a lesníckymi motívmi. V objekte po jeho rekonštrukcii sídlil rektorát Banskej akadémie a bola v nej umiestnená aj známa akademická knižnica, ktorá sa v súčasnosti nachádza v Miškovci a v Šoproni. Okrem toho sa tu nachádzala aj kresliareň a zbierky akadémie. To však neprekážalo tomu, aby sa tu konali mestské plesy.
Po odsťahovaní akadémie sa tu vystriedali rôzni užívatelia, až sa budova stala v roku 1981 majetkom Štátneho ústredného banského archívu. Po rekonštrukcii a renovácii v rokoch 1984 až 1992 patrí Fritzov dom medzi najkrajšie v Banskej Štiavnici.
RICHARDKAFKA