Marco Rossi nasce a Seravezza, in provincia di Lucca, il 1 Aprile 1978 ed inizia la propria carriera calcistica nelle giovanili della Lucchese. 
Nella stagione 1995-’96 esordisce tra i professionisti, in Serie B, proprio con la maglia della Lucchese, che indosserà fino alla stagione 1997-’98, collezionando, complessivamente, 31 presenze in tre stagioni.
Nell’estate del 1998, il presidente Aliberti, punta su di lui come rinforzo per la sua Salernitana appena promossa in serie A. Nel primo anno a Salerno, culminato con la la retrocessione dei granata in serie B, colleziona 18 presenze in campionato e 1 in Coppa Italia. Nella stagione seguente, 1999-2000, diventa pilastro del centrocampo della squadra allenata prima da Cadregari e poi da Cagni, collezionando 27 presenze e realizzando 3 reti senza, però, riuscire nell’intento di riportare l’ippocampo in massima serie.
Nell’estate del 2000 viene ceduto alla Fiorentina dove, nella stagione 2000-’01, è protagonista sia in campionato che in Coppa Italia dove, la squadra viola, si laurea vincitrice. La stagione seguente vede, in modo inaspettato, la Fiorentina in piena crisi societaria e nel Gennaio 2002, insieme a Nuno Gomes, chiede la messa in mora della società viola e la rescissione unilaterale del contratto per inadempienze. Questo suo gesto viene vissuto, dai propri compagni, come la rottura di un patto d’onore con la squadra e, dai tifosi gigliati, come un tradimento. La Fiorentina intanto retrocede, per poi andare incontro al fallimento, e nell’estate del 2002, Rossi, si accasa al Como, sempre in serie A, dove subisce la sua terza retrocessione.
Il passaggio al Genoa, per la stagione 2003-’04, segna la svolta della sua carriera. Con i grifoni gioca nelle tre serie principali del campionato italiano, diventa capitano, colleziona 248 presenze complessive e realizza 22 gol in nove stagioni. Si ritira dal calcio giocato al termine della stagione 2012-’13 e la società ligure, in suo onore, ritira la maglia numero 7. Entrato di diritto nella hall of fame del Genoa, dal 2019 è team manager dei rossoblù.
Marco Rossi ha vinto con l’Italia U21, l’Europeo di categoria disputatosi in Slovacchia nel 2000.
