Hijo de un minero y una molinera, en 1936 emigra con su familia a Madrid procedente de una pequeña pedanía de un pueblo de Murcia, Águilas. Trabajó como vendedor ambulante y en una fábrica, al tiempo que asistía a clases nocturnas en un colegio jesuita.

Más tarde comenzó a trabajar como aprendiz de electricista en los recién inaugurados Estudios Cinematográficos Chamartín. Allí le dieron su primera oportunidad para trabajar como figurante y actor de reparto en la película de Rafael Gil La pródiga (1946), y en otras de José López–Rubio. Al año siguiente debutó como actor teatral de la Compañía Lope de Vega en los teatros Infanta Isabel y María Guerrero.

En la compañía también trabajaba la actriz Asunción Balaguer, con la que contrajo matrimonio en 1951 y con la que tuvo dos hijos, la actriz Teresa Rabal y el director Benito Rabal.

En 1950 fue cuando consiguió un papel principal en el filme María Antonia, la Caramba (1950), de Arturo Ruiz Castillo. Hasta 1953 alternó su trabajo de intérprete teatral con el de actor cinematográfico, cuando fue contratado en exclusiva Vicente Escrivá para películas de corte religioso o político dirigidas por Rafael Gil. A partir de 1955 trabajó con el director José Luis Sáenz de Heredia. En 1958 trabajó por primera vez con Luis Buñuel, quien en los años 60 le requirió para el reparto de Viridiana (1960) y Belle de Jour (1966).

Actor en más de 200 películas dirigidas, entre otros, por José María Forqué, Pedro Lazaga, Juan Antonio Bardem, Jaime Camino, Jacinto Esteva, Pedro Olea, Angelino Fons, Alfonso Ungría, Bigas Luna, Miguel Hermoso, Josefina Molina, Gonzalo Suárez, Fernando Trueba, Jaime de Armiñán, Vicente Aranda, José Luis García Sánchez, Pedro Almodóvar, Gerardo Herrero, José Luis Cuerda, Juanma Bajo Ulloa, Fernando Fernán Gómez, Vittorio de Sica, uno de los maestros del Neorrealismo italiano, y William Friedkin, director de La guarida (2003).

En 1975 se puso detrás de las cámaras para rodar junto a Julián Marcos el cortometraje Funerales de arena, basado en un poema de Rafael Alberti (1902–1999). Sus siguientes trabajos, ya en solitario son documentales sobre escritores españoles. Es el caso de Mis encuentros con Dámaso Alonso y sus poemas (1976), Rafael Alberti en Roma y en España (1977) y Por tierras de España: Antonio Machado (1978).

En 1984 obtuvo el Premio a la Mejor Interpretación Masculina en el Festival de Cine de Cannes por su interpretación en Los santos inocentes, de Mario Camus.

En 1992 se le otorgó la Medalla de Oro de Bellas Artes y, al año siguiente, la Medalla de Oro de la Academia de Cine.

Dos años después publicó el libro Mis versos y mi copla (1994) y su biografía Si yo te contara (1994). En 1995 la Universidad de Murcia le hizo Doctor Honoris Causa y fue nombrado Hijo Predilecto de Águilas y de la Región de Murcia.

En 1999 consiguió el Premio Goya a la Mejor Interpretación Masculina por su trabajo como protagonista en el filme de Carlos Saura, Goya en Burdeos. En 2000 le concedieron la Medalla de Oro al Mérito del Trabajo.

Un año después de su muerte, el escultor Santiago de Santiago modeló su figura en bronce. La escultura se encuentra en Cuesta de Gos, su pueblo natal.