El Colegio Mayor Albayzín abrió sus puertas en octubre de 1945 por iniciativa de San Josemaría Escrivá de Balaguer, fundador del Opus Dei, quien eligió personalmente la primera sede del colegio mayor: el Carmen de las Maravillas, situado en número del Carril de la Lona, en el granadino barrio del Albayzín. Más tarde, en el curso 67/68, la residencia se trasladó a su actual sede de la Avenida Fuentenueva. El antiguo edificio, aunque situado en un paraje de gran belleza, no reunía ya condiciones para albergar las instalaciones de un colegio mayor moderno. Además, la nueva sede, mucho más amplia, podía acoger al número creciente de estudiantes que solicitaban plaza.

El primer director del colegio mayor fue Juan Antonio Galarraga, doctor en Farmacia y premio Juan de la Cierva del Consejo Superior de Investigaciones Científicas. Este investigador donostiarra, agudo científico de personalidad abierta y servicial marcó una impronta que a lo largo de los años se ha tratado de mantener: aunar la competencia profesional y un fuerte espíritu de colaboración.

El entonces rector de la Universidad de Granada, Antonio Marían Ocete, y el alcalde de la ciudad, Antonio Gallego Burín, apoyaron la nueva iniciativa, al igual que el obispo Agustín Parrado, que bendijo el primer oratorio o capilla de la residencia.

Por los pasillos y habitaciones del Carmen de las Maravillas comenzaron a subir y bajar estudiantes de toda España. Algunos de ellos, como Pedro Lombardía, que llegó a ser catedrático de Derecho Canónico, lograrían un prestigio internacional en sus disciplinas académicas.

Desde sus comienzos, el Colegio Mayor Albayzín se benefició de la colaboración de profesores que, sin vivir entre sus paredes, aportaron su ciencia y su buen hacer humano y universitario. Entre otros muchos podemos destacar al constitucionalista Luis Sánchez Agesta; al catedrático de Farmacia José González Castro, o al ilustre médico Eduardo Ortiz de Landázuri, decano de la Facultad de Medicina de Granada, vicerrector de la misma universidad, y uno de los forjadores de la Clínica Universitaria de la Universidad de Navarra.

Un ilustre residente de la residencia del Albayzín, impulsor de sus actividades culturales durante largos años, fue Antonio Fontán, catedrático de Latín y futuro maestro de periodistas y político, que llegó a ser presidente del Senado y ministro durante la democracia.

El 14 de julio de 1951 marca un hito importante en la historia de la residencia del Albayzín. En esa fecha, el director de Enseñanza Universitaria, José Ibáñez Martín, concede la categoría de Colegio Mayor y aprueba los estatutos por los que se regirá, decisión publicada en el Boletín Oficial del Estado del 24 de julio de ese mismo año.

Más tarde, en los años 60, hubo de afrontarse el cambio de sede. Entre el Carmen de las Maravillas, que albergaba medio centenar de estudiantes, hasta la sede actual –para 100 residentes- hubo de pasarse por un período de transición, en que el colegio mayor se ubicó en un edificio de la calle de las Tablas, muy próximo a la entonces Facultad de Filosofía y Letras de la calle Puentezuelas (hoy Facultad de Traducción e Interpretación) y de las Facultades de Derecho y Ciencias.
Joaquín Navarro Valls, psiquiatra y periodista, conocido sobre todo por haber dirigido durante muchos años la Oficina de Prensa de la Santa Sede, fue el director de la residencia durante el curso 62/63.

El colegio mayor nunca se limitó a fomentar actividades académicas y culturales: la solidaridad –desde el principio se colaboró con las familias pobres del barrio del Albayzín-, el deporte y el amor a la naturaleza siempre han estado presentes. El colegio nunca dejó de mirar a Sierra Nevada y fue pionero en la promoción del deporte blanco. Así, el Club Montañero de Estudiantes fue un fruto maduro del Colegio Mayor y el Albergue de la Hoya de la Mora, uno de los tres que existían entonces en la Sierra, fue reconstruido y habilitado por residentes del Albayzín, posibilitando que desde 1963 a 1979, pasaran por allí miles de estudiantes que tuvieron un privilegiado contacto con la naturaleza.

Las bodas de plata del Colegio Mayor se celebraron durante el curso 70/71, ya plenamente asentado en su nueva sede. Los actos del XXV aniversario fueron presididos por Federico Mayor Zaragoza, después tantos años director general de la UNESCO y colaborador habitual del colegio.

El curso 95/96 Albayzín celebró sus bodas de oro. El Hospital Real, sede del rectorado de la universidad acogió un solemne acto, donde la presencia del rector y del alcalde mostraron las dos coordenadas en las que se mueve el Colegio Mayor Albayzín: el servicio a la universidad y a la sociedad. Una Misa solemne en la Capilla Real escenificó asimismo el espíritu cristiano que lo anima desde el principio.