Acteur de théâtre dès l'âge de 19 ans, il se spécialise dans les rôles d'excentriques volontiers bourrus. Il impose sa forte présence dans l'Extravagant Mr. Deeds (F. Capra, 1936), Soupe au lait (L. McCarey, id., aux côtés d'Harold Lloyd), Une étoile est née (W. Wellman, 1937), Infidèlement vôtre (P. Sturges, 1948). Sa carrière est interrompue au début des années 50 par la chasse aux sorcières anticommuniste. C'est seulement à la fin des années 60 qu'il amorce une seconde carrière en Grande-Bretagne, dans le rôle du gangster pittoresque de Cul-de-sac (R. Polanski, 1966). À partir de 1968 (Maldonne pour un espion, A. Mann), il retrouve une activité régulière et on le voit notamment dans le Pont de Cassandra (George Pan Cosmatos, 1977) et New York, New York (M. Scorsese, id.), dans le rôle de l'imprésario de Liza Minnelli.