El Palacio de la Condesa de Lebrija comenzó a construirse como casa señorial con el estilo propio del siglo XV, la fachada es de estilo sevillano realizada en el mismo siglo, entre los siglos XVIII y XX es remodelado y ampliado.
El Palacio de las Dueñas, tiene valor incalculable, y guarda en su interior más de 1.400 bienes de la colección artística de Cayetano Fitz-James Stuart, según indica el inventario de la Junta de Andalucía a través de su solicitud como espacio museístico. Este inmueble, declarado bien de interés cultural en 1931, supone un patrimonio artístico digno de aparecer en todos los libros de arte.