Родился в Милане в 1466 году. Происходил из знатного и древнего рода миланских герцогов Сфорца, был побочным сыном Костанцо Сфорца и внуком Алессандро Сфорца.
По смерти своего отца в 1483 году вступил во владение Пезаро и Градарой.
Первый брак с Магдаленой Гонзага из рода Гонзага, заключенный в 1489 году, закончился смертью жены год спустя. Был женат ещё два раза, и наиболее известен историей своего несчастливого второго брака с Лукрецией Борджиа.
В 1493 году папа римский Александр VI, желая породниться с влиятельным семейством Сфорца, выдал свою дочь Лукрецию Борджиа за Джованни Сфорца. В 1494 году 14-летняя Лукреция переехала во владение мужа, Градару. Вскоре союз с семьей Сфорца стал невыгоден семье Борджиа. Папе необходимы были новые, более выгодные политические союзы для укрепления его положения. Возможно, это стало причиной для устранения Джованни. Согласно общепризнанной версии, Лукреция предупредила Джованни о том, что его хотят убить, и тот в спешке покинул Рим. Возможно, приказ об убийстве Джованни был лишь слухом, целью которого было заставить Джованни бежать. Так или иначе, новый претендент был уже подобран и ситуация требовала устранения Джованни Сфорца.
Александр VI убедил дядю Джованни, кардинала Асканио Сфорца (англ. Ascanio Sforza), в необходимости согласия на развод. Джованни же отказывался от развода и обвинял Лукрецию в отцовском и братском инцесте. По доводам Александра VI, брак не был консуммирован (между супругами не было сексуальных отношений), что, согласно средневековому праву, было достаточной причиной для развода. В случае отказа Джованни папа имел право расторгнуть брак своей властью, и тогда семья Борджиа потребовала бы назад приданое Лукреции. Родственники поставили перед Джованни условие: или он принимает предложения Александра VI, или они лишают его протектората. Не имея выбора, в 1497 году Джованни Сфорца подписал документы о своем сексуальном бессилии при свидетелях, и брак официально был признан недействительным.
Джованни Сфорца приписывается появление слухов об инцесте между Лукрецией Борджиа и ее отцом. Он утверждал, будто римский папа расторг брак своей красавицы дочери, чтобы оставить ее для себя. После заявления Джованни слухи об инцесте пошли гулять по свету, обрастая немыслимыми подробностями.
В октябре 1500 года потерял свое владение, захваченное его бывшим шурином Чезаре Борджиа, но с помощью венецианцев вернулся к власти в 1503 году.