Para la temporada 2003-04, Jupp Heynckes abandonaba el banquillo para ser sustituido por Ernesto Valverde, un entrenador de la casa que acababa de subir del filial. En los dos años que estuvo Jupp Heynckes, el equipo mejoró considerablemente, ya que estuvo luchando por clasificarse para la Copa de la UEFA hasta el último momento, además de llegar hasta semifinales de la Copa del Rey, tras quince años sin lograrlo, siendo eliminado finalmente por el Real Madrid.