​El Atlético Grau fue fundado un 5 de junio de 1919 bajo el nombre de Club Miguel Grau, teniendo como fundador a Guillermo Herrera y como primer presidente a José Erquiaga.

​

El club es uno de los fundadores de la Liga Provincial de Fútbol de Piura el 22 de Febrero del año 1922 participando en diferentes campeonatos. En los años 30 el Atlético Grau se hizo conocido como Los Académicos y conquistaron los titulares durante los años 1928 y 1934.

​

En 1966, durante la presidencia de Orlando Balarezo Calle, recibe la invitación de la Federación Peruana de Fútbol para participar en el primer Torneo Descentralizado junto a los equipos de tradición futbolística como Melgar, Alfonso Ugarte de Chiclín y Octavio Espinoza. 

​​​

El 14 de agosto de 1966 el club hizo su debut en el Descentralizado derrotando por 1-0 al Alianza Lima. En aquel torneo logró mantenerse en Primera al ser el mejor ubicado entre los equipos invitados. 

 

E​​n 1972 se coronó campeón de la Copa Perú obteniendo el retorno a la Primera División. El equipo estuvo dirigido por Guillermo Quineche Gil y estaba conformado por: Rolando Jiménez, Jorge Albán, Julio Miranda, Julio Ceballos, Manuel Mora, Javier Márquez, Manuel «Meleque» Suárez, Toribio Peña del Rosario, Marcos Murguía, José «Quimbo» Córdova y Reynaldo Rojas.