Atuando como volante, Mascherano foi formado nas categorias de base do River Plate. Ganhou fama e foi convocado para a Seleção Argentina em diversas oportunidades, sendo campeão olímpico nas Olimpíadas de Atenas, em 2004 e nas Olimpíadas de Pequim em 2008.

Foi contratado, então, pelo Corinthians no meio da temporada de 2005 e fez sua estréia na vitória válida pelo Campeonato Brasileiro de 2005 sobre o rival Palmeiras por 3 a 1, em 10 de julho, com uma elogiada atuação. Apesar da badalada contratação, a passagem de Mascherano pelo Corinthians foi apenas discreta. Passou longo tempo inativo por causa de uma lesão e deixou de atuar em várias ocasiões pelo clube paulista devido a seguidas convocações para a Seleção Argentina.

Em 2006 foi contratado por empréstimo, junto ao West Ham United, juntamente com o seu companheiro Carlos Tévez.

Conhecido como "Chefinho", sofreu uma grave fratura no pé e apenas voltou a jogar em 2006. Atuando de maneira eficiente foi convocado para a Copa do Mundo de 2006, sendo apontado como uma das maiores promessas da mesma.

Em 2007, se transferiu do West Ham United para o Liverpool, onde já na primeira entrevista cometeu uma gafe, chamando o Liverpool de Red Devils, apelido do rival Manchester United.

Curiosidades:

No Corinthians, os jogadores argentinos do time - Sebá Domínguez, Javier Mascherano e, principalmente, Carlitos Tevez - entraram em choque com o técnico Emerson Leão. O motivo foi uma declaração do técnico dizendo que não gostava de argentinos. O conflito chegou ao auge quando Leão tirou a faixa de capitão de Tevez sob a alegação de que não entendia o que o jogador portenho falava. Foi a desculpa que Tevez precisava para sair do clube e ir para a equipe inglesa West Ham. Mascherano foi logo a seguir.

Em 23 de março de 2008, durante o clássico contra o Manchester United, Mascherano foi expulso no final do primeiro tempo de uma forma considerada muito infantil. A imprensa inglesa não o perdoou e o chamou The Dumbest man on the planet (O homem mais burro no planeta).

Com a conquista do bicampeonato olímpico de futebol, Mascherano tornou-se o primeiro - e até agora único - atleta de seu país a ter duas medalhas de ouro olímpicas.