La historia del Colegio San José de Villafranca de los Barros es algo más que centenaria. Los deseos de vecinos de la localidad, manifestados a los superiores de la Compañía de Jesús con insistencia y muy generosas ofertas de recursos, consiguieron la instauración del Colegio. Les apremiaba la necesidad de mejorar las posibilidades educativas y culturales de la localidad y de la región. 

Entre las personas que contribuyeron a hacer realidad el Colegio hay que recordar a D. Alonso Ceballos Rico, Dª Dolores Domínguez Gallego, Dª María Josefa Ovando Ladrón de Guevara y Dª Carmen Dorado.

En sus comienzos, el Colegio se instaló provisionalmente en una casa céntrica de la ciudad, que, por cierto, todavía existe, aunque ya algo transformada, y en la que actualmente está instalado un Centro recreativo llamado «La Peña».

Las dificultades para conseguir nuevos recursos económicos impusieron un ritmo lento a la construcción de un adecuado edificio para sede propia. La primera piedra del actual edificio se colocó el 19 de marzo de 1895, y empezó a habitarse la parte inicialmente construida del edificio principal, para el comienzo del curso 1897-1898. En 1902 se construyó, en el borde exterior de la finca, lo que actualmente son las aulas de Primaria, locales que han tenido usos diversos desde su construcción En 1908 se inauguró la capilla neogótica. A la entrada del Colegio se encuentra una estatua de mármol de su Patrono San José, que fue traída de Italia en 1924.

El edificio principal del Colegio, en su conjunto, sólo pudo darse por terminado poco tiempo antes de tener que abandonarlo en 1932, como consecuencia de un Decreto de la II República Española que declaró disuelta la Compañía de Jesús en España. En aquel momento, unos ochenta colegiales continuaron en Estremoz (Portugal) la marcha del curso. En el curso 1935-36, último en Portugal, los alumnos llegaron a ser 256.

Durante la etapa portuguesa del Colegio, su edificio bien conservado, fue sede de un Instituto, protegido por la Institución Libre de Enseñanza, con internado masculino y femenino. Llegó a superar los 700 alumnos, procedentes de toda la geografía española.

De regreso a Villafranca (curso 1936 – 1937) el Colegio recuperó «su casa», pero tuvo que compartir durante algún tiempo sus espacios con las salas de un hospital militar, en el que eran atendidos soldados marroquíes procedentes de los frentes de guerra próximos.

Algunos jóvenes jesuitas alternaron la docencia con la asistencia a los heridos.

Para los actos de culto de los soldados musulmanes se construyó una pequeña mezquita, que todavía puede verse en uno de los patios del Colegio.

En 1949 se inauguró el Salón de Actos. Para ampliación de los dormitorios de los alumnos se construyó, a todo lo largo de la fachada posterior del edificio, una tercera planta y la azotea que la cubre; comenzó a utilizarse de forma parcial y progresiva a partir del curso 1956-57.

No fue hasta que en 1962 quedaron rematadas todas las instalaciones y mejoras previstas.

Las continuas mejoras en las instalaciones van renovado los espacios dedicados a la Residencia del alumnado (verano de 2019), aulas y espacios de trabajo de Primaria (verano 2020), instalaciones deportivas (verano de 2009), espacios comunes de la Residencia y habitaciones Bachillerato (verano 2021), así como las aulas de ESO (verano 2021 y 2022) para contar con las Aulas Cooperativas Loyola.

La Residencia Internacional masculina y femenina cuenta con habitaciones de entre 1 a 3 estudiantes, donde el alumnado desarrolla sus tiempos de estudio y en las instalaciones las deportivas se cuenta con Pabellón cubierto, campos de fútbol -7 y 11 con césped artificial, una pista de tenis y 4 de pádel, pistas exteriores de baloncesto, piscina al aire libre, …