El "Museo de Relojes" inició su colección en el año 1972, tras una exposición de piezas procedentes del Convento de los Padres Capuchinos que lo habían heredado por legado testamentario  de la Condesa viuda de Gavia (del Castillo de San Marcos, en el Puerto de Santa María).  De este modo se adquirió un conjunto de 152 relojes con los que se inició este museo, inaugurándose el 20 de Marzo de 1973.

En 1974 se engrosaron los fondos con 74 relojes de la colección Pedro León, ampliándose en 1977 con una nueva remesa de un centenar, proveniente del mismo coleccionista. De esta forma se han alcanzado los 302 relojes que actualmente posee la Fundación Andrés de Ribera

La Fundación decide reformar en el periodo de 1998 a 2001 por completo este palacio, de nuevo en estilo del XVIII-XIX Neoclásico-Victoriano, para albergar esta colección única distribuida por todas sus salas de una forma totalmente innovadora y con moderna tecnología: lejos ya de ser un museo al uso, podemos ya disfrutar de este nuevo espacio expositivo donde una densa colección de arte está a disposición del gran público en un viaje mágico en el tiempo, con la ayuda de efectos especiales sonoros y lumínicos, hologramas y colorido, que potencian su carácter de única en el mundo.

Curiosamente, es el único museo de relojes donde las mayoría de sus ejemplares se encuentran en funcionamiento, siendo de gran atractivo escuchar sus sonerías (cuartos, medias y horas en punto). 

Abarca cronológicamente los siglos XVII al XIX, época más productiva y variada de la técnica relojera inglesa y francesa. En menor proporción, se incluyen otras nacionalidades: italiana, suiza, austriaca y alemana. La italiana es la caja más antigua, un reloj-chimenea realizado en ébano y piedras semi-preciosas (s. XVII año 1670). Destacar también los famosos relojes de bolsillo ginebrinos o el reloj de carroza austriaco.

La variedad es aún más patente en la temática, mitología sobre todo en el estilo Imperio: Dioses griegos y romanos, héroes, personajes simbólicos y alegóricos, etc. No faltan las referencias históricas a emperadores y reyes, ni las escenas costumbristas llenas de ingenuidad y belleza, mezclando a veces motivos orientales, muy en boga durante el s. XIX. Mención especial exigen los zócalos de las piezas, decorados con escenas en relieve que aluden al tema principal completando su significado.

En cuanto a los materiales, se observa la mayor utilización del bronce, preferentemente en “ormolú” (dorado al oro molido), con mármoles de Carrara, cristal de Baccarat, lapislázuli y otras piedras semi preciosas. En otros casos, el bronce se limita a rematar cajas de maderas nobles o bien combinados con  marquetería de concha o marfil.

El reloj inglés en general se caracteriza por la sobriedad decorativa, siendo especial el interés por la máquina en sí misma, su solidez y perfección. 

Podemos hablar de 3 amplias clases: el reloj de caja larga (long case), el reloj de sobremesa (bracket clock) y el reloj de bolsillo (pocket watch), todos ellos ampliamente representados en la colección. 

Entre los brackets destacan por su originalidad: el reloj linterna que, procedente del reloj gótico, esta realizado en latón y posee una esfera de tamaño desmesurado. El reloj esqueleto, en el que se suprime la caja dejando la máquina al descubierto. El reloj de numeración turca, reflejo del floreciente mercado inglés.

En cuanto al reloj francés, destaca por la belleza ornamental siendo su máquina generalmente más frágil. Así, en el estilo Luis XIV, comprobamos que las cajas son verdaderas obras de arte, gracias a la habilidad del famoso ebanista Andrè Charles Boulle, creador de la marquetería a base de concha de tortuga, cobre y estaño. 

En las Habitaciones de Napoleón III (Museo del Louvre, París) se exponen relojes de la misma manufactura y de similar valor. Los de Jerez sí que conservan su maquinaria.

Del estilo Luis XIV, uno de los más bellos, se pueden admirar modelos muy variados: el reloj en forma de lira, los realizados en forma de “biscuit de sèvres” o los de la esfera giratoria llamados genéricamente "tournant". Muy atractivos son también los de chimenea con guarnición, resaltando uno de las series “Continentes” dedicado a América, de la época Directorio.

Del estilo Imperio hay una completa muestra: el reloj jarrón, la amplia gama del reloj columna, monumentos egipcios...

Por último hay unos ejemplares curiosos como los autómatas: el payaso que juega con cubiletes, la fuente o el barco cuyo timonel se mece suavemente, un reloj chinesco, el reloj misterioso o el reloj de sol en forma de cañón.