Comenzó a actuar a la edad de once años (City Slickers, 1991). Su primer papel protagonista fue en la película Cielo de octubre (1999), a la cual le siguieron la película independiente de culto Donnie Darko, en la que daba vida a un adolescente con problemas psicológicos y en la que compartía reparto con la actriz Maggie Gyllenhaal, su hermana en la cinta y en la vida real, y The Day After Tomorrow (2004), una película del tema catastrófico del enfriamiento global que supuso su debut en el cine de gran presupuesto y en el que interpretaba a un estudiante.

En 2005 fue seguramente cuando se produjo su consagración como actor ante el gran público, gracias a su interpretación de un marine frustrado en Jarhead y, sobre todo, al personaje del vaquero Jack Twist en Brokeback Mountain, de Ang Lee, donde compartía protagonismo junto con Heath Ledger. El trabajo de Gyllenhaal, al igual que el de Ledger, fue aclamado por la crítica, que ya en su día había alabado su interpretación en Donnie Darko. Gyllenhaal se ha convertido en un activista político, promoviendo diversas causas políticas y sociales. En los últimos años, ha aparecido en la publicidad de la campaña Rock the Vote, ha prestado públicamente su apoyo al Partido Demócrata de los Estados Unidos en las elecciones de 2004 y ha promovido distintas causas ambientales y en favor de la Unión Estadounidense por las Libertades Civiles.

El 20 de mayo de 2008 se anunció que Gyllenhaal interpretaría el papel principal en la adaptación del videojuego Prince of Persia: Sands of Time, bajo la producción de Jerry Bruckheimer. La película fue estrenada el 28 de mayo de 2010.

2011 fue el año en el que se estrenó Source Code, la segunda película de Duncan Jones (Moon), en la que Gyllenhaal interpretó a un agente policial del futuro que investiga un atentado retrocediendo en el tiempo y reviviéndolo una y otra vez.​ Al año siguiente actuó en la película End of Watch junto a Michael Peña, interpretando a un par de policías de los Ángeles.

Una de sus últimas actuaciones lo incluyen en la adaptación cinematográfica de la novela de José Saramago, El hombre duplicado, que lleva por título Enemy. También protagonizó la cinta nominada a mejor fotografía en los Premios Óscar Prisoners. Además de actuar en End of Watch y Nightcrawler también contribuyó como productor en ambas películas.

En 2019 dio vida a Mysterio en el debut cinematográfico del personaje con Spiderman: Lejos de casa, entrando así a formar parte del Universo Cinematográfico de Marvel.