Décadas 70 y 80, épocas de ascensos y descensos

Tras ello, vino una época convulsa e inestable para el Alba. En 1962 se desciende a Tercera División, y pese a jugar varias fases de ascenso, no solo no se consigue volver a Segunda sino que en 1970 el Alba descendió a Preferente. Durante varias temporadas estuvo a caballo entre Preferente y Tercera División, aunque en esta época también hubo buenas noticias, como la aparición de jugadores que son historia del Club, como Juanito, cuyo buen hacer en nuestro Alba le valió para ser contratado por el Real Madrid de Santiago Bernabeu, José Antonio Camacho o Julián Rubio, hombre mítico del Alba.

Con la entrada de la década de los 80, comenzó un nuevo resurgir de nuestro Club. En la temporada 1981/82, el Alba se gana el ascenso y con ello ser uno de los equipos que dispute la Segunda División B, categoría creada ese año. En la temporada 84/85, con Julian Rubio en el banquillo, el Alba quedó subcampeón de su grupo y campeón de la copa de dicho grupo, lo que significaba el Segunda División, aunque se bajaría a la temporada siguiente.