Родился 16 февраля 1923 года в Варшаве в семье музыкантов.
Когда немецкими войсками была захвачена Польша - выехал в Советский Союз. В Москве продолжил музыкальное образование и окончил Московскую консерваторию. Среди его педагогов был Николай Иванович Сперанский (1877-1952).
В годы Великой Отечественной войны молодой певец, ещё будучи студентом консерватории, участвовал во фронтовых концертах.
Пел на сцене Большого театра и на Всесоюзном радио. Работал в Московской Государственной Филармонии. Его голос звучал в таких фильмах, как «Тихий Дон», «Русский сувенир», «Карнавальная ночь», «Последний дюйм», также именно его голосом говорит Мойдодыр в одноимённом мультфильме.
Умер 21 октября 1983 года в Москве. Похоронен на Кунцевском кладбище (участок 8). Надпись на надгробии: Miczislaw Ryba.
Сын - Михаил Михайлович Рыба - пианист, Лауреат международных конкурсов в Португалии и Италии, живёт и работает в Москве.