Chaloupka Maxe Švabinského leží na okraji vesnice Kozlov pod vrcholkem Kozlovského kopce. Kozlovská krajina a zdejší obyvatelé malíře inspirovali k celé řadě prací, např. Chudý kraj, U stavu, Dvě matky nebo Bílá kamélie.
Na jaře roku 1891 koupila objekt rodina pražského železničáře Rudolfa Vejrycha. Za jeho dcerou Elou chodil mladý student pražské malířské akademie Maxmilián Švabinský. Mladí lidé se seznámili téhož roku v Praze na Národopisné výstavě českoslovanské a už po Vánocích 1895 přijal Max pozvání Vejrychových, aby s nimi v Kozlově strávil několik volných dní. Kozlovská krajina, rázovití obyvatelé i samotné stavení mladého umělce okouzlili a natolik umělecky inspirovali, že dnes mluvíme o „kozlovském období" Švabinského. K nejproslulejší práci náleží Chudý kraj. V roce 1910 zde, přesněji na novém průčelí bývalého Pecháčkova statku, vytvořil i sgrafito nazvané Žnečka.
V roce1900 si Max Švabinský Elou Vejrychovou vzal za manželku a v Kozlově novomanželé trávili mnoho času. Max Švabinský si tento kraj natolik zamiloval, že sem zajížděl i v zimním období. V letním období hostila chaloupka mnohdy významné hosty – francouzskou pianistku Blanch Selvu, skladatele Bohuslava Martinů, profesora Zdeňka Nejedlého, spisovatelku Marii Majerovou a F. V. Krejčího. V roce 1919 navštívil Švabinský Kozlov naposledy.
Chaloupku nadále v letním období obývala Ela Švabinská, která se za druhé světové války zapojila do ilegálního komunistického odboje a 10. února 1943 byla v Praze zatčena a posléze se dostala do koncentračního tábora v Ravensbrücku, kde byla až do konce války. Po jejím úmrtí 10. srpna 1967 o chaloupku pečovala adoptivní dcera Maxe Švabinského paní Zuzana Švabinská.
Není bez zajímavosti, že vesnici míjela tzv. "Černá stezka", po níž bylo v dávných dobách možné nepozorovaně cestovat z Moravy až do Prahy, neboť se vyhýbala všem lidským sídlům. Stezka tak byla prý využívána k pašování zboží.