A pesar de que el archivo funciona como tal desde la Edad Media, no será hasta el 20 de marzo de 1979 cuando el Pleno del Ayuntamiento crea el Archivo Histórico Municipal de Elche y aprueba su ubicación en el antiguo hospital de San José (convento franciscano desamortizado).

La preocupación del consell por el archivo queda reflejada desde el principio en los Llibres de ordinacions donde se recogen las primeras disposiciones para la agrupación de los fondos, ordenación y adecuación del local destinado a archivo. Tenemos noticias de que el primer inventario lo realizaron en 1660 Antonio Siuri y Gaspar Pérez de Sarrió, aunque los que conservamos son de fecha posterior. En 1729 el escribano Carlos Gracia escribe un memorial al Cabildo diciendo que desde la abolición de los fueros se había aumentado el trabajo en el archivo considerablemente al tener que formar "padrones de equivalente, sal y listas de su cobranza con muchas otras cosas" por lo que unos años más tarde fue nombrado el primer archivero de Elche: Ignacio Ruiz de Lope. El archivo mayor estaba cerrado con tres llaves: «una se entregaba al alcalde primero, la otra al señor regidor y la tercera al archivero». El archivo aparte de custodiar los documentos, guardaba también los vestidos y demás utensilios para la Festa.

La documentación que ha llegado a nosotros ha superado saqueos, guerras y despreocupación municipal en diferentes épocas. Durante la Guerra de Sucesión se quemaron las Casas Capitulares y se destruyó la unidad del archivo. En 1837 la Facción Forcadell asaltó el Ayuntamiento llevándose documentación del mismo.

A pesar de las vicisitudes, el Archivo es hoy uno de los más ricos de la Comunidad Valenciana, sin duda, gracias a la labor de Pedro Ibarra. Éste fue contratado para hacerse cargo del archivo que sufría condiciones de abandono entre otras cosas porque parte de la documentación fue vendida para pagar obras municipales. También se hizo cargo del archivo de protocolos notariales. Él aplicó un sistema de organización de los documentos que perdura todavía.

El Archivo no sólo recoge la documentación que producen las oficinas municipales, sino que actúa como centro de patrimonio documental y, a lo largo de su historia, ha visto incrementar sus fondos con documentos procedentes de otras instituciones o particulares.