Иван Яремчук попал в большой футбол благодаря своему земляку - экс-игроку Динамо (Киев) 40-50-х Фабиану. Последний рекомендовал Яремчука Виктору Жилину для поступления в киевский спортинтернат. По окончании интерната в 1979 уехал в Днепр (Черкассы), где главным тренером был тот же Виктор Жилин.
В 1983 призван в армию, выступал за армейскую команду 2-й лиги СКА (Киев). Игру техничного полузащитника заметил Валерий Лобановский, который в итоге и пригласил Яремчука в киевское «Динамо» в 1985.
В первый же свой сезон стал чемпионом СССР и обладателем Кубка СССР и застолбил за собой место правого полузащитника.
Одну из самых ярких игр провел 19 марта 1986 года, в свой день рождения, когда в Киеве «Динамо» в матче Кубка Кубков против «Рапида» выиграло 5:1. В том матче Яремчук забил 2 мяча и был признан лучшим игроком матча.
27 августа 1986 года в финальном матче Кубка Сантьяго Бернабеу получил тяжелейшую травму (перелом левой ноги и разрыв связок), которую ему нанёс игрок мадридского «Реала» Хорхе Вальдано. Аргентинец после матча приходил в больницу и извинялся перед Иваном. Из-за последствий травмы и неправильного лечения долго лечился, около года не играл.
После завершения сезона 1990 года уехал в Германию, в клуб 2-й Бундеслиги «Блау-Вайсс» (Берлин). При переговорах обещали, что команда будет бороться за выход в Бундеслигу. Однако к концу сезона клуб обанкротился и по завершении турнира был переведен в любители. Сам Яремчук провел на поле только 5 матчей, в одном из которых получил травму мениска и досрочно завершил сезон.
В 1991 году Яремчука звал к себе в «Герту» экс-главный тренер сборной ГДР Бернд Штанге. Однако на первой же тренировке он порвал крестообразные связки на том же травмированном ранее колене.
Через год он оказался в любительской команде «Олимпиакос» (Берлин), в которой задержался только на 3 месяца (из-за низкого уровня команды). Ему был предложен вариант с греческим ОФИ. Приехав на смотрины и сыграв 2 товарищеских матча (забил 1 гол), оставил благоприятное впечатление. Греки обещали продать лишнего иностранца и взять Яремчука, однако вызова так и не последовало. В Германии пристрастился к игре в казино и по собственным словам, проиграл за 15 лет около миллиона долларов.
Вместо Греции в середине 1993 года Яремчук оказался в КамАЗе, с которым заключил контракт на 2 года. На российскую команду Ивана вывел один из киевских журналистов, который был близко знаком с Лобановским. Однако в Чемпионате России 1993 он не сыграл ни одного матча, так как немецкая федерация футбола не выслала вовремя трансферный сертификат.
В сезоне 1994 провел за «КамАЗ» 1-й круг, после которого самовольно покинул команду. Позже объяснил, что это было вызвано задолженностью руководства клуба перед ним по премиальным.
В сезоне 1994/95 выступал за израильский клуб «Хапоэль» (Ришон-ле-Цион). Из команды был вынужден уйти из-за сексуального скандала, приведшего к его депортации из страны. По признанию очевидцев его игры в Израиле, если бы не скандал, то Яремчук получил бы звание «Лучшего легионера Израиля 1994/95».
Летом 1995 года тренировался с «Динамо-2» (Киев), за который провел несколько контрольных игр. Яремчука заметили селекционеры чешского клуба «Богемианс» и предложили контракт. Однако из-за финансовых проблем клуба провел в Чехии только полгода.
В начале 1996 года уехал в Казахстан играть за клуб «Мунайши», где выступал вместе с Василием Каратаевым, Валерием Глушаковым и Ренатом Атаулиным. В середине 1996 покидает команду по причине финансовой задолженности перед ним и переезжает в Россию, в клуб «Текстильщик». Эту команду помог найти ему тренер сборной России Борис Игнатьев. За «Текстильщик» провел 8 игр и покинул клуб из-за невыплаты обещанных подъемных.
В 1997 вернулся на Украину, где наилучшие финансовые условия ему предложили в «Ворскле». Вместе со своим земляком Иваном Шарием был самым возрастным игроком команды, но при этом они оба выделялись среди партнеров своей игрой.