La costruzione della villa-palazzo di Seravezza, iniziata la prima settimana del mese di maggio 1561, rientrava nell’ambito della volontà di affermazione del potere e di 

consolidamento dei confini dello Stato voluti da Cosimo I, e trovava una motivazione specifica nella presenza in Versilia di importanti giacimenti marmiferi e di miniere di ferro e di argento.

La critica storico-artistica ha attribuito il progetto dapprima a Bartolomeo Ammannati e quindi al giovane Bernardo Buontalenti, anche se l’unica presenza documentata in cantiere, in qualità di direttore dei lavori, è quella di David Fortini, genero del Tribolo. Nel 1565 l’edificio risultava terminato e il Duca commissionava allo scultore Stoldo Lorenzi la realizzazione dell’epigrafe in marmo, tutt’oggi esistente, da apporre “sopra la porta del Casinò di Seravezza di verso l’orto”. Da una descrizione del 1568 sappiamo che il prato sul fronte principale era chiuso da un muro a secco, “con la sua porta di marmo volta circa a mezzodiì”, che sul retro trovava posto il giardino dei frutti, mentre, a ridosso del Torrente Vezza, era collocata una peschiera.

Una prima rappresentazione iconografica dell’assetto complessivo si deve alla lunetta di Giusto Utens, realizzata tra il 1599 e il 1601, nella quale compaiono gli altri elementi che ancora oggi configurano spazialmente l’intera area: la cappellina che affianca il palazzo e le scuderie. Nei decenni a cavallo tra il XVI e il XVII secolo l’edificio ospitò spesso rappresentanti della corte medicea che erano soliti ritirarsi a Seravezza durante l’estate. Fra questi Cristina di Lorena, appassionata di pesca, che vi risiedette per lunghi periodi dopo aver ricevuto nel 1609, alla morte del marito Ferdinando I, il legato del governo del Capitanato di Pietrasanta. Dopo il tentativo fallito da parte del Granduca Pietro Leopoldo di cedere l’intero complesso alla Comunità di Seravezza, il palazzo fu assegnato alla Magona come sede amministrativa e magazzino di una ferriera.

Nel 1835 il fabbricato tornò ad essere luogo di soggiorno della famiglia granducale, in particolare delle figlie di Leopoldo II.
Con l’Unità d’Italia infine passò allo Stato che, nel 1864, lo donò al Comune di Seravezza.

Nel palazzo trovano oggi sede fissa la “Biblioteca Sirio Giannini“, l’ “Archivio Storico Comunale” e il “Museo del Lavoro e delle Tradizioni Popolari della Versilia Storica“. Il piano nobile e riservato a importanti mostre di fotografia e arte moderna e contemporanea.
Le “Scuderie”, restaurate all’inizio di questo secolo, ospitano il teatro ed il cinema comunale.