Muzeum se nachází ve dvou historických objektech – Staré radnici a v Červeném domě, kde stojí za vidění především prezentace tradičního místního řemesla – soukenictví – i s dosud funkčním stavem, který občas k úžasu návštěvníků „zatká“.
Muzeum se nachází ve Staré radnici, která patří k historickým skvostům města. První písemná zmínka o kloboucké radnici pochází z roku 1567. Přímo před budovou stojí historický pranýř z 16. století, jeden z nejstarších dochovaných v České republice. V muzeu najdete expozici Pravěk jižního Valašska, v síni radnice se pak konají různé výstavy, koncerty a přednášky.
Druhým muzejním objektem je Červený dům z roku 1781, v jehož interiérech je prezentováno nejslavnější kloboucké řemeslo – soukenictví – spolu s plátenictvím a barvířstvím. Soukenická jizba v sobě ukrývá i jeden technický skvost; funkční tkalcovský stav. Pro větší skupiny návštěvníků je připravena ukázka tkaní. K dalším hodnotným památkám historického jádra města patří kostel Povýšení svatého Kříže a několik lidových roubenek, které jsou chráněny jako součást městské památkové zóny.