Situata su un'altura alle pendici settentrionali del Montalbano è raggiungibile dal vicino centro di Quarrata percorrendo la Via Vecchia Fiorentina in direzione di Pistoia.

Il nucleo originario dell'edificio è costituito da un fortilizio, che la tradizione vuole fondato da Vinciguerra Panciatichi, al suo ritorno dalla Francia, intorno al 1320.
I Panciatichi, annoverati fra le casate magnatizie pistoiesi più importanti, fin dall'XI secolo risiedevano e possedevano terreni, castelli e rocche munitissime sia nel contado che sulle montagne intorno alla città.

I primi acquisti della famiglia in località «La Màgia» furono compiuti da Corrado nel 1335 e, con ogni probabilità, la prima torre, in una posizione ideale per il controllo della viabilità tra Pistoia e Firenze (foto 1) e con funzione difensiva, soprattutto in relazione alla rivalità con la famiglia Cancellieri, fu eretta proprio tra il 1335 e il 1427.
Tra il 1427 e il 1465 la torre fu invece inglobata all'interno di un edificio più complesso (foto 2), che univa all'aspetto di fortezza anche quello di residenza, con i vari ambienti che si organizzavano attorno al cortile (foto3).

Nel 1500 poi, dopo la definitiva sconfitta dei Panciatichi da parte dei Cancellieri, tutti i beni della famiglia furono venduti all'incanto e tra essi «Villa la Màgia» fu acquistata dal granduca Francesco I de' Medici.

L'acquisto da parte di Francesco I de' Medici di «Villa la Màgia» proseguiva il piano paterno di espansione territoriale. Dopo i primi acquisti nella zona da parte di Lorenzo il Magnifico, Francesco I tra il 1574 e il 1587 costruì la villa di Pratolino e acquisì quella di Marignolle e le ville di Cerreto Guidi, di Lappeggi e della Màgia; mentre Ferdinando I, che succedette al fratello nel 1587, completò il sistema delle ville medicee con l'Ambrogiana, la Petraia e le ville di Castello, Artimino e Montevettolini.

Proprio il Buontalenti, in quanto architetto ufficiale del granduca Francesco I, si occupò probabilmente della ristrutturazione della villa e della realizzazione del lago artificiale (situato poco distante dalla villa, alla quale era collegato da un grande viale), rendendo la Màgia importante punto d'appoggio per le battute di caccia nel vicino Barco Reale (la tenuta di caccia appartenuta alla famiglia granducale, che da Artimino si estendeva fin nei pressi della Villa) e valido sistema per l'amministrazione il controllo delle proprietà, all'interno del già forte dominio mediceo nella zona del Montalbano.
Del lago, già essiccato nel XVIII sec., ne resta testimonianza dalla nota lunetta di Giusto Utens, conservata nel Museo Topografico «Firenze com'era», dipinta qualche anno dopo la conclusione dei lavori e che ci offre un'immagine pressochè fedele e dettagliata della proprietà.
La funzione della Màgia rimase comunque fortemente legata al «Barco Reale Mediceo» (istituito ufficialmente da Ferdinando II nel 1626) fino al 1645, anno in cui la villa fu acquistata dalla famiglia Attivanti (foto 4) .

Pandolfo d'Ottavio Attavanti ottenne il consenso da Ferdinando II de' Medici per l'acquisto della fattoria della Màgia, che fu poi gestita fino al 1688 dalla moglie di Pandolfo, Eleonora di Amerigo Marzi Medici.
Interventi significativi si succedettero durante la proprietà degli Attavanti, in particolare tra il 1708 e il 1716, quando ebbe inizio la costruzione di una cappella, iniziarono i lavori di rifacimento della cantina e ci fu la ristrutturazione del cortile con l'esecuzione della fontana centrale (foto 5 e 6).

I nuovi proprietari, trasformarono l'interno della villa in un elegante stile barocco (ricordiamo gli affreschi del salone eseguiti nel 1715 dal pittore G. Domenico Ferretti che raffigurano Bacco e Arianna e Diana e Atteone); e tra il 1723 e il 1724, quando furono rialzate le facciate del cortile, furono aperti due nuovi accessi alla villa e fu creato lo stanzone degli agrumi e dei vasi, con le stanze per la servitù e la rimessa per gli animali.

Con la morte di Pandolfo Attivanti si estinse nel 1752 il casato, i cui eredi nominati erano Bindaccio e Leone Ricasoli (foto 7).

I fratelli Ricasoli continuarono i lavori di manutenzione ordinaria e l'ampliamento della limonaia (foto 8), finché nel 1766, trovandosi in grave difficoltà economica, furono costretti a vendere la proprietà a Giulio Giuseppe Amati.
Quest'ultimo acquistò il possesso di ottantanove unità immobiliari, tra cui due fornaci, due mulini, un frantoio, diverse case, terreni boschivi, selve e praterie. Gli Amati completarono in particolare la sistemazione del giardino romantico adiacente all'ala di levante della villa e l'ingresso al giardino.
Nel 1853 Giovanni Tommaso, ultimo discendente degli Amati, nominò suo erede Giulio di Luigi Cellesi, con l'obbligo di assumere il doppio cognome. Le proprietà di «Villa la Màgia» sono poi rimaste nelle mani della famiglia Amati Cellesi, di cui ultima ereditaria è stata la contessa Marcella nata Pagnani, che alla fine del 1999 ha ceduto l'intero possesso al Comune di Quarrata.