Josef Hoffmann byl architekt a designér první poloviny 20. století světového měřítka, který se narodil v Brtnici u Jihlavy. Spolu s Kolomanem Moserem založil vídeňské rukodělné dílny Wiener Werkstätte, jejichž zásady promítl do rekonstrukce svého rodného domu.
Stavba vznikla patrně spojením dvou menších objektů. Základy severního domu pocházejí z doby kolem roku 1500, pozdně gotické jádro je dodnes patrné v silných zdech a valené klenbě sklípku.
Dům vlastnilo několik generací předků architekta Josefa Hoffmanna. Otec Josef byl jedním z nejváženějších měšťanů, stál celých 36 let v čele Brtnice jako její starosta. Rodina bydlela v patře, spodní klenuté místnosti a průjezd byly provozní a hospodářské.
Po smrti rodičů se děti nadále sjížděly do domu na letní pobyty a někdy mezi lety 1907–1911 Josef Hoffmann, tehdy již slavný vídeňský architekt, dům upravil. Zaměřil se na rekonstrukci interiéru, navrhl nové kusy nábytku a pestrou výmalbu stěn jednotlivých pokojů. Z malé místnosti v přízemí vedle průjezdu si zařídil pracovnu, jejíž stěny pokrývalo dřevěné táflování, velmi pietně doplnil schodiště. Na dvoře nechal upravit část stavení na altán, který vybavil novým zahradním nábytkem. Vnější vzhled domu pozměnil jen málo, později po požáru v roce 1934 dal původní mansardové střeše dnešní tvar.
Dům byl Hoffmannově rodině zkonfiskován v roce 1945 a Josef Hoffmann se do Brtnice už nikdy nevrátil. Budova, kterou do svého vlastnictví převzala místní organizace KSČ, postupně chátrala, vnitřní vybavení mizelo.
Po roce 1989 byl dům převeden do vlastnictví obce a v roce 2003 dle návrhů brněnské kanceláře Architekti Hrůša & Pelčák zrekonstruován. Obnova vycházela z dochovaných dobových fotografií, které nechal vytvořit Josef Hoffmann po dokončení své práce a publikoval je v soudobém tisku. V přízemí je k vidění pečlivě obnovená architektova pracovna s originálním nábytkem, v prvním patře restaurované ornamentální výmalby. Rekonstrukce se týkala také budovy stodoly v zadní části pozemku. Kromě stálé expozice „Josef Hoffmann: Inspirace“ se zde střídají také krátkodobější výstavní projekty, které Hoffmannovo dílo konfrontují s jeho současníky.
Od roku 2006 spravuje rodný dům Josefa Hoffmanna
Moravská galerie ve spolupráci s vídeňským muzeem užitého a současného umění MAK.