Va néixer a Cleveland, Ohio, l'any 1952. A l'institut va començar a absorbir els experiments free d'Ornette Coleman, John Coltrane i Jimmy Giuffre, que el van impressionar moltíssim pel treball d'interacció que desenvolupaven aquests músics. Després de la seva graduació, va passar a estudiar a la Berklee School of Music on va conèixer i va començar a tocar amb els seus col·laboradors John Scofield, Bill Frisell i Kenny Werner. Lovano buscava aleshores la manera d'incorporar el foc i l'espiritualitat de l'últim període de Coltrane a un marc més tradicional. A Berklee va descobrir l'armonia modal. 'La meva formació va ser tota amb base al bebop i, de sobte, em vaig trobar davant meu totes aquelles formes obertes amb les seves enganyoses resolucions. Aquest descobriment em va enlluernar, la combinació d'aquest so nou amb el bop, que era el que jo coneixia fins aleshores. Va ser llavors quan vaig saber en quin terreny volia treballar'. El 1994, va rebre el prestigiós Distinguished Alumni Award de la Berklee School of Music.
El primer treball profesional de Joe després de deixar la Berklee, va ser amb l'organista Lonnie Smith, que el va portar a Nova York, per realitzar la seva primera gravació, a la que va seguir una temporada amb Brother Jack Mcduff. Des de 1976 a 1979, va tocar a l'orquestra de Woody Herman, període que culminà amb l'històric concert de cel·lebració del 40 aniversari de l'orquestra al Carnagie Hall. Després de deixar l'orquestra de Herman, Joe es va instal·lar a Nova York. Va passar els seus primers anys a la ciutat participant a jam sessions i actuacions diverses, però finalment va acompanyar l'Orquestra de Mel Lewis als concerts que cada dilluns a la nit feien al Village Vanguard. Va tocar amb Lewis, de 1980 a 1992, i va enregistrar amb l'orquestra sis discos. Durant aquests anys, també va treballar amb Elvin Jones, Carla Bley, Lee Konitz, Charlie Haden i Bob Brookmeyer, entre altres, i va tocar a la banda del bateria Paul Motian, l'any 1981.
El primer concert de Lovano que va atraure l'atenció massiva de la crítica va ser amb el quartet del guitarrista John Scofield, amb el qual va enregistrar i actuar durant tres anys. En paraules de Scofield: 'Joe és molt conscient del so que aconsegueix. Pensa sempre en l'efecte que tindrà als diferents instruments que toca. Era perfecte pel que jo feia. El seu sentit del swing i entonació em recordaven al dels vells mestres.... i això ho dic en el sentit més positiu'. Lovano va aconseguir encara més reconeixement pel seu treball amb l'extraordinari trio de Paul Motian, on també tocava el seu antic company de la Berklee Bill Frisell.
El 1991, va actuar com a líder al Village Vanguard i, des d'aleshores, ha experimentat amb diferents formacions de músics, cosa que reflecta, la seva dinàmica i inquieta personalitat. Com a compositor i com a instrumentista, Joe busca constantment noves vies per expressar les seves idees. Al seu disc 'Universal Language', el cant sense paraules de la soprano Judi Silvano encaixa perfectament amb Joe tant en els passatges improvisats com aquells on interven el grup. En aquest disc destaquen també el trompetista Tim Hagans i el pianista Kenny Werner. El seu següent disc, Tenor Legacy, que té a Joshua Redman, va obtenir un ampli reconeixament de la crítica, que va culminar a una nominació dels Grammy.
Al disc 'Rush Hour' de 1995, al seu saxo tenor l'acompanyen una cantant i dos ensembles, un de vents i un altre de cordes, dirigits pel llegendari Gunther Schullen, amb composicions del propi Schullen, Lovano, Charles Mingus, Ornette Coleman, Thelonious Monk i Duke Ellington. Com va assenyalar la revista CD reviews en la seva menció del disc com a millor del mes: 'la música no pot aconseguir res millor que això, aquest disc és quasi bé un miracle'.
Després d'enregistrar el 1996, 'Quartets: Live in the Village Vanguard', amb Mulgrew Miller, Christian McBride, Lewis Nash, Tom Harrell i Billy Hart, disc que va obtenir cinc estrelles a la revista Down Beat i dues nominacions als Grammy, Joe va retre el seu particular homenatge a Frank Sinatra a 'Celebrating Sinatra', disc de balades en què el tenor de Joe s'envolta d'un quartet de corda i un quintet de vent amb arreglos de Manny Albam. Altres projectes completament diferents són el duet amb el pianista cubà Gonzalo Rubalcaba a 'Flying Colors' (1997) i l'epectacular 'Trio Fascination' (1998), amb la millor secció rítmica del moment, Dave Holland i Elvin Jones.
A partir de 1999, Joe Lovano es va dedicar a enregistrar discos a duo, primer amb Greg Osby, 'Friendly Fire' i, el 2000 amb Furio Di Castri, 'Unknown Voyage'. El 2000 va ser una any molt productiu, ja que a més de publicar un disc amb el seu nonet, titulat '52nd Street Themes', es va donar el gust de gravar en solitari 'Hometown Sessions', on interpretava temes clàssics de Ellington, Parker o Gillespie, així com peces de Rollins, Monk i de pròpia factura. El 2001, Lovano va aconseguir de nou enlluernar la crítica amb la segona part de 'Trio Fascination', aquest cop titulat 'Flights of Fancy: Trio Fascination. Vol. 2', en el qual apareixia en tres formacions de trio diferents: Cameron Brown i Idris Muhammad; Billy Drewes i Joey Baron, i Toots Thielemans i Kenny Werner.
El 2002, de nou un caprici: enregistar amb estructures jazzístiques els temes que van encumbrar a la fama el tenor d'òpera Caruso. El disc, 'Viva Caruso' és un dels seus àlbums més ambiciosos, alabat per la crítica de forma unànime. L'últim projecte d'aquest gran mestre porta per títol 'On this day... At the Vanguard', enregistrat en viu i amb formació de nonet. Com va dir recentment a la revista Village Voice, 'més que Pavarotti, el més gran tenor italià d’avui es Lovano'.
Març 2004