El edificio contiene dos construcciones anexas: la torre de la Calahorra propiamente dicha y el cuerpo añadido en el siglo XV, en el que algunos estudiosos sitúan el almudín de la villa, ya que se tienen noticias de que en 1442 el consejo municipal acordó construir un depósito de grano extramuros, fuera del portal de la Calahorra. Parece ser que, en un principio, este almacén sería un pórtico con arcos que, posteriormente, fue cerrado y se dividió en distintas habitaciones.

La torre es una fortaleza de origen islámico concebida como torre de vigilancia como parte de la muralla defensiva del Elche andalusí. Su construcción data de fines del siglo XII o principios del XIII (época almohade). De planta cuadrangular, defendía la entrada a la ciudad desde el camino de Alicante, siendo la torre más importante de la entonces medina amurallada. En su realización se utilizaron muros de mampostería revocados, con sillares en la base y en las esquinas. La torre, en origen, tenía, al menos, dos alturas más, cuerpos que se desplomaron en 1829, en uno de los terremotos más destructores que ha sufrido la provincia de Alicante.

 

En 1470, Gutierre de Cárdenas, Comendador de León, recibió, en recompensa por su apoyo al casamiento de Isabel de Castilla y Fernando de Aragón, Elche y Crevillente, dando lugar a la creación de un señorío, convertido en marquesado tras las Germanías, con una extensión similar a la actual comarca del Baix Vinalopó. En la Calahorra residía el contador señorial y se almacenaba el grano procedente del diezmo eclesiástico hasta su reparto entre sus beneficiarios, fundamentalmente el señor feudal, el obispo y cabildo catedralicio de Orihuela y los cleros de Santa María y San Salvador.

 

Ya en el siglo XIX los últimos señores de la ciudad venden el edificio, que va a parar en 1870 a manos de Rafael Brufal Melgarejo, marqués de Lendínez, quien  habilitó la construcción como residencia, abriendo ventanas en la fachada septentrional y en el lado de la plaza de Santa Isabel. Lendínez también rehabilitaría el antiguo almudín de trigo como salón de baile, pero, además, como centro de reuniones de la logia ilicitana, de la que él era miembro. La sala fue decorada por el erudito local Pedro Ibarra con motivos egipcios sobre la vida y la muerte. No tienen, en principio, relación con la masonería, aunque no hay que olvidar que el redescubrimiento de Egipto por Napoleón alimentó el imaginario europeo decimonónico de una sabiduría con tintes esotéricos, de la que en realidad poco o nada se sabía. Sí que aparecen en la sala, en el suelo, símbolos masónicos, uno de los cuales se encuentra sobre una trampilla, que facilitaba la huida de los congregados por el sótano en caso de ser sorprendidos en una de sus reuniones secretas.

En 1909, compró la casa José Revenga (terrateniente procedente de Caudete) y se la ofreció a su mujer, Asunción Ibarra, hija de Aureliano Ibarra y Manzoni y viuda del Dr. Campello (propietario de la Alcudia), como regalo de bodas. Se rehabilitó el edificio, especialmente la decoración de paredes, con motivos neoárabes, convirtiéndola en casa señorial de alta burguesía. La decoración del vestíbulo de la torre, como el del resto de las dependencias remiten a la corriente historicista y romántica decimonónica.  Se debe al muralista alcoyano Agustín Espí Carbonell (Alcoi, 1881 – Madrid, 1940), quien, en 1909, realiza la decoración neogótica del santuario de la virgen de Gracia de Caudete, en la que se inspiraría la de la Calahorra. Fue, por su parte, Pedro Ibarra quien, a instancia de José Revenga, ideó, sugirió y guió estas decoraciones  murales.

Actualmente, el edificio acoge diferentes eventos, como exposiciones o conferencias.