El Museo se emplaza donde, hace muchos años, estaba la casa patronal de la hacienda "La Viña de la Mar", propiedad de José Francisco Vergara y su mujer Mercedes Álvarez, fundadores de la ciudad, la que se derrumba con el terremoto de 1906. Al año siguiente, el empresario español radicado en Valparaíso, Fernando Rioja Medel, adquiere las cuatro hectáreas y encarga la construcción de su nueva residencia viñamarina al arquitecto francés, Alfredo Azancot.

El diseño arquitectónico del edificio está inspirado en palacios franceses de la segunda mitad del siglo XVIII. Su decoración interior estuvo a cargo de arquitectos y decorados europeos, quienes abocetaron y adquirieron muebles, cortinajes, lámparas y textiles murales, entre otras cosas, que llegaron desde España y Francia.

Los terrenos que rodeaban esta mansión incluían estructuras hoy inexistentes: un teatro, invernadero y palmarium, piscina, caballerizas, cocheras y cancha de tenis.

Al parque original, se agregaron nueve ejes, especies vegetales, construcciones y elementos decorativos, asimismo, se diseñaron senderos de palmeras e incorporaron plantas exóticas, provenientes de China, África y Brasil. En la actualidad, exhibe especies de enorme valor científico, algunas casi únicas.

Fernando Rioja habitó esta mansión con su esposa y sus nueve hijos hasta su fallecimiento, en 1922. Su descendencia la mantuvo prácticamente intacta hasta 1956, cuando la adquiere la Ilustre Municipalidad de Viña del Mar con el mobiliario original de los principales salones, destinándola primero como sede de la Alcaldía hasta 1978, después Palacio Ceremonial y finalmente la convierte en uno de los Museos de Artes Decorativas más importantes del país.