Dom, v ktorom je v súčasnosti umiestnená Galéria Jozefa Kollára, bol vybudovaný v neskorogotickom slohu v polovici 16. storočia, ako meštiansky dom s veľkým vstupným priestorom, z ktorého sa vchádzalo do ostatných miestností. V 18. storočí bol barokovo upravený ako zájazdový hostinec „U jeleňa“, a práve v tomto období sa dožil najväčšej slávy. Počas svojho návratu z Bukoviny tu prenocoval cisár Jozef II., ktorý sa v roku 1783 podieľal na druhom delení Poľska.
Hostinec „U Jeleňa“ ešte dlho sídlil v priestoroch tohto domu. V sedemdesiatych rokoch minulého storočia boli pri jeho rekonštrukcii objavené renesančné figurálne maľby na fasáde, ktoré boli zreštaurované. V súčasnosti nám umožňujú predstaviť si, ako vyzerali renesančné meštiacke domy.
