Берман родился в еврейской семье, обучаться игре на фортепиано стал с двух лет сначала под руководством матери, а затем — у профессора Ленинградской консерватории Самария Савшинского. В 1939 году семья переехала в Москву, где наставником Бермана стал Александр Гольденвейзер, у которого он учился сначала в Центральной музыкальной школе, а затем в Московской консерватории, которую окончил в 1953 году. Три года спустя, обучаясь в аспирантуре, Берман получил премии на двух международных конкурсах пианистов — имени королевы Елизаветы в Брюсселе и имени Ференца Листа в Будапеште, после чего был приглашён на гастроли за границу, где помимо концертной деятельности также сделал ряд записей, в том числе Сонаты Листа и «Аппассионаты» Бетховена. С 1959 по 1971 год Берману было запрещено выезжать за границу из-за его женитьбы на француженке (с которой он вскоре развёлся), однако пианист продолжал концертировать и делать записи в СССР на фирме «Мелодия», в том числе цикла Этюдов высшего мастерства («Трансцендентных») Листа, эта запись стала одной из первых, сделанных в СССР с применением стереотехнологий. С середины 1970-х пианисту было вновь позволено выступать за границей, где он имел большой успех. Среди его записей этого периода — Третий концерт Рахманинова и Первый концерт Чайковского. В 1980 году, на пике его популярности, Берману вновь был закрыт выезд из СССР из-за того, что при досмотре его багажа была обнаружена книга запрещённого американского писателя. С началом перестройки давление на пианиста несколько ослабло, и в 1988 году ему было присвоено звание Заслуженного артиста РСФСР. В августе 1990 года Берман уехал в Норвегию, а некоторое время спустя — в Италию, где занялся преподавательской деятельностью, через четыре года он получил итальянское гражданство, а ещё через год был приглашён в Высшую школу музыки Веймара, где и преподавал до 2000 года. Часто выступал со своим сыном — скрипачом Павлом Берманом.