En el Rasillo de San Francisco estuvo situada la antigua ciudadela o acrópolis de Calahorra, junto con el castillo medieval. Se trataba de la parte más alta de la zona sur de la ciudad y, por ello, fue desde época romana el principal enclave defensivo, hasta que los obispos la eligieron como lugar de residencia. En este espacio fue proclamado rey don Enrique de Trastámara.
En esta misma zona se localizaba el barrio judío o Aljama, con su sinagoga, que pasó a ser propiedad de la Catedral tras la expulsión de los judíos en 1492 por los Reyes Católicos. Las viviendas colindantes se construyeron en el siglo XVI como moradas de los prebendados de la Catedral.
Durante el siglo XIX, con motivo de la desamortización de 1835, comenzó el deterioro del convento de San Francisco, que estaba adosado al templo, al destinarse a usos civiles como cárcel, juzgado, escuelas e instituto de enseñanza media. Finalmente, en 1921, el convento fue destruido ante el peligro que suponía su estado ruinoso. A la derecha del templo se conserva un edificio, hoy felizmente reconstruido, que alberga el albergue de peregrinos del Camino Jacobeo del Ebro y el Museo de la Verdura. En la terraza del bar anexo se disfruta de un mirador privilegiado sobre la Vega del Cidacos, el Arrabal, la Catedral, el santuario del Carmen y el polígono industrial de Tejerías.