V roce 1836 byl v Židlochovicích založen jeden z nejstarších cukrovarů ve střední Evropě. A vznikla potřeba vybudovat odpovídající sídlo pro francouzského majitele cukrovaru.
Vila byla postavena v letech 1895 až 1901. Stavbu projektoval a postavil c. k. Carl Jirusch.
Florentin Robert, jako osvícený průmyslník patřil k průkopníkům své doby – jako jeden z
prvních využívá elektrické energii pro osvětlení cukrovaru. V roce 1923 vlastní cukrovar společnost pro průmysl cukrovarnický Hodonín a v roce 1948 byl židlochovický závod znárodněn. Konec výroby cukru v
Židlochovicích se datuje k roku 1991.
Po roce 1948 ve vile sídlí
ředitelství Státního statku Židlochovice a to až do roku 1991. Poté jak již bylo zmíněno přechází celý areál Robertovy vily a cukrovaru na město
Židlochovice. V současné době je
areál cukrovaru nově rekonstruovaný a slouží komerčním účelům.
V Robertovaě vile mají své
prostory zájmové a neziskové organizace. Sídlí zde také Městská knihovna nebo Základní uměcká škola