Son premier single, « Flow Joe » se hisse dans les classements rap. Connu sur la scène underground hip hop de New York au début des années 1990, Fat Joe fait partie du collectif des « Diggin' In The Crates » (D.I.T.C.) aux côtés des rappeurs et producteurs respectés Showbiz et A.G., Buckwild, O.C., Diamond D, Big L et Lord Finesse, et on voit son nom sur les pochettes des premiers disques de plusieurs membres du collectif. Fin 1995, Fat Joe travaille avec LL Cool J, Foxy Brown et Keith Murray sur le tube « I Shot Ya » et « Firewater » de Raekwon du Wu Tang Clan. Son second album, « Jealous Ones Still Envy » (« JOSE »), et le titre-phare « We Thuggin' », sur lequel la star du R&B
R.Kelly chante les choeurs connaît un beau succès. En 1998, Fat Joe change de maison de disque et signe chez Atlantic Records. Son troisième album, « Don Cartagena », réalise quelques francs succès grâce aux participations d'artistes tels que
Puff Daddy, Nas, Raekwon, Big Pun et Jadakiss. Sa chanson intitulée « What's Luv ? » sur laquelle la future révélation du R&B Ashanti participe devient un des plus grands hits de pop de l'année 2002.