Il débuta sa carrière internationale en 1994 et s'est tout de suite imposé parmi les meilleurs coureurs de demi-fond, finissant deuxième du 1500 mètres des mondiaux de Göteborg en 1995.
Aux Jeux Olympiques d'Atlanta, il échoua en final du 1 500 m à une très decevante 12e place alors qu'il avait mené toute la course avant d'être poussé à un tour de l'arrivée par l'Algérien Noureddine Morceli et laisser la victoire à son grand rival algérien.
Il remporta cependant, toujours sur 1 500m, 4 titres aux championnats du monde de 1997 à 2003. Le 14 juillet 1998 à Rome, il bat le record du monde détenu par Morceli. Son temps de 3:26:00 minutes est aujourd'hui encore invaincu.
Aux Jeux Olympiques de Sydney, il est le grand favori du 1 500m. Il craque dans la dernière ligne droite et est une nouvelle fois battu, cette fois par le Kenyan Noah Ngeny.
En 2003, aux championnats du monde de Paris Saint-Denis, il s'aligna également sur 5 000m et remporta une médaille d'argent.
Aux Jeux Olympiques d'Athènes, il parvint enfin à remporter l'or olympique en s'imposant sur sa discipline du 1 500m, mais également en 5 000m en battant le favori Kenenisa Bekele.
Après son doublé au Jeux Olympiques d'Athènes, Hicham El Guerrouj a été décoré du « Cordon de Commandeur » par le Roi du Maroc Mohammed VI, le 7 septembre 2004.
En 2004, il est nommé membre du CIO.
Hicham El Guerrouj a été élu meilleur sportif de l’année 2004 au Maroc, ce pour la neuvième fois, la huitième d’affilée.
Le 22 mai 2006 il a annoncé qu'il mettait un terme à sa carrière.