Jeru a débuté sa carrière en 1992 sur « I'm the Man », un morceau présent sur l'album de Gang Starr Daily Operation. L'année suivante il sortit son premier single, « Come Clean » produit par DJ Premier, suivi par son premier album, The Sun Rises in the East en 1994, qui s'imposa comme une référence de son époque. La couverture de l'album montre l'une des tours du World Trade Center en feu et s'effondrant sur elle-même, et ce bien avant les attentats du 11 septembre 2001.
En 1996, Jeru sortit son deuxième album Wrath of the Math produit à nouveau par DJ Premier. Comme sur son premier album, Jeru critique les labels et artistes « commerciaux » du hip hop. Suite à cet album, Jeru se brouilla avec Gang Starr et il disparu de la scène jusqu'en 1999, avant de sortir son troisième album, Heroz4Hire. Cet album fut son premier sans production de DJ Premier et également son premier sous son nouveau label, KnowSavage Records. Il inclut le single « 99.9 % », qui critique Gang Starr. Après avoir signé sur Ashenafi Records, Jeru sortit un quatrième album, Divine Design, en 2003. Son dernier album à ce jour, intitulé Still Rising, est sorti en 2007.
Dans ses textes, Jeru critique le matérialisme consumériste (« Da Bichez », « Me or the Papes », « Ya Playin' Yaself »), dénonce le racisme et l'oppression (« Jungle Music », « Invasion ») ou s'oppose à certains stéréotypes (« Not the Average »)