Родился в Черновцах в Австро-Венгрии (ныне в составе Украины). Шерф присоединился к алии в 1925 году. Был членом молодёжного крыла Поалей Цион и основателем движения Социалистическая молодежь.
Во время Второй мировой войны он был членом организации Хагана, и после войны, работал в Еврейском агентстве в течение двух лет.
В 1947 году был назначен секретарем «Ваадат ха-мацав», комиссии, на которую было возложена подготовка создания административного аппарата нового государства. После обретения независимости Израилем был назначен Секретарём правительства, исполнял эту должность до 1957 года.
В 1965 году был избран в кнессет. В ноябре 1966 года был назначен министром торговли и промышленности, а в августе 1968 года также стал министром финансов. Он занимал обе должности до окончания выборов 1969 года, когда он стал министром жилищного строительства. В 1973 году в кнессет не попал.