En 1982, obtuvo el papel de Hally en Master Harold ... and the Boys de Athol Fugard. También apareció en Cloud Nine de Caryl Churchill (por la que ganó el 1981 Drama Desk Award a Mejor Actor de teatro).

Frecuentemente aparece en Broadway donde ha participado entre otros, en los montajes de Loot (1986), de Joe Orton, El zoo de cristal (1994), de Tennesse Williams y The Pillowman (2005) de Martin McDonagh. Ha sido nominado a tres premios Tony, uno de los cuales por su actuación en la producción original de Brighton Beach Memoirs, otro por Two Shakespearean Actors, y otra por su actuación protagonista como el capitán Queeg en una reposición de The Caine Mutiny Court Martial junto a David Schwimmer y Tim Daly.

Es sobre todo conocido por sus papeles secundarios en las series de televisión Expediente X, Homicide: Life on the Street (como el fiscal Ed Danvers), Damages (Ray Fiske), Oz (gobernador James Devlin), 24 (Andre Drazen), y Héroes (Danko).

También trabajó para las series de la HBO True Blood y John Adams.

El 21 de septiembre de 2008 fue galardonado con un Emmy al mejor actor de reparto en una serie dramática por su actuación en el papel de Ray Fiske en Damages.

Ivanek apareció en la tercera temporada de Big Love y en un episodio de House. Desde 2014 tiene un papel protagonista en la serie Madam Secretary como jefe de gabinete del Presidente de los Estados Unidos, papel en el que ha sido nominado y premiado en diversos premios.