Cinéphile dès l'enfance, il découvre, pêle-mêle, les uvres d'Akira Kurosawa, d'Ingmar Bergman, de Luis Buñuel, de la Nouvelle Vague française, sans pour autant renier le cinéma américain des années 40 et 50, auquel il ne manque pas de se référer dans ses derniers films, celui de Nicholas Ray, de Joseph L. Mankiewicz ou de George Cukor. Après de brèves études littéraires, il devient monteur et travaille en tant que tel sur de nombreuses productions. Parallèlement à cela, il finance lui-même les courts métrages qu'il réalise : Blue Frieze (1966), Friends (1967), Bay of Angels (1968), The Stairs (id.), Persepolis (1969-70), Chronicle (1970), Fluorescent (1971) et Blue Streak (id.). En 1973, son premier long métrage, Casual Relations, le classe dans la catégorie des cinéastes expérimentaux. Mais son esprit éclectique et sa culture européenne le tiennent éloigné des courants avant-gardistes orthodoxes américains. Dès Mozart in Love (1975), il trouve une écriture personnelle qu'il développe dans Local Color (1977) et, surtout, dans Scenic Route (1978) et Impostors (1979). L'univers de Mark Rappaport est fortement référentiel, allant même jusqu'à une forme intelligente de parodie (dans Impostors, notamment) ; la musique y tient également un rôle très important. La recherche de nouvelles fictions, qui marque les années 80, fait apparaître son rôle de pionnier.
