Родился в рабочей семье. Окончив сельскую двухклассную школу, работал на лесопильном заводе, затем техником-мелиоратором. Участвовал в работе социалистических кружков, с 1908 года - член Украинской социал-демократической спилки. В 1911 году приехал в Москву, где сдал экстерном экзамены за среднюю школу. Получив аттестат зрелости, поступил в Московский городской народный университет имени А. Л. Шанявского. Окончил его исторический факультет.
В период первой мировой войны А. Я. Шумский активно работал в украинских социалистических организациях. Попав под подозрение охранного отделения, Шумский в 1916 году уехал на гидротехнические работы в Закаспийский край. Вернулся в Москву, где был арестован и отправлен на фронт.
Мемориальная доска на доме в Житомире.
После Февральской революции Шумский избирался членом корпусного, армейского, а потом фронтового комитета солдатских депутатов. После образования земельных комитетов его избрали членом Киевского губернского земельного комитета, а потом председателем Волынского земельного комитета. В 1917-1919 годах был одним из лидеров левого крыла Украинской партии социалистов-революционеров, затем входил в ЦК отдельной партии боротьбистов. В январе 1918 года вместе с другими левыми украинскими эсерами выступил против Центральной Рады. Во время второго прихода советской власти на Украину в 1919 году он занимал пост народного комиссара просвещения Украины.
В 1920 году, после окончательного установления на Украине Советской власти, А. Я. Шумский был членом президиума ЦИК Украины и членом Политбюро ЦК КП(б)У. В период наступления Врангеля и Пилсудского он был командирован президиумом ЦИК Украины на должности председателя сначала Полтавского, а потом Одесского губернского исполкома; состоял он и членом реввоенсовета XII армии.
С 1920 работал в народном комиссариате иностранных дел. Был членом делегации на мирных переговорах с Польшей. В 1921-1923 - полпред УССР в Польше. В 1921 на 3-м конгрессе Коминтерна избран членом Исполкома Коминтерна. Был также членом президиума ЦИК СССР. В феврале 1922 года возглавлял делегацию советского правительства по заключению торгового договора с Польшей.
В 1924-1927 снова народный комиссар просвещения Украины. Активно проводил политику украинизации. Предлагал выдвинуть на пост председателя Совнаркома Гринько, на пост Политсекретаря ЦК КП(б)У - Чубаря.
В 1927 году, в связи с дискуссией по национальному вопросу, позиция А. Я. Шумского была осуждена партией и Коминтерном, и он был откомандирован с Украины на работу в Ленинград. Несмотря на развязанную в СССР кампанию против «шумскизма», со смещённым наркомом просвещения солидаризовалось большинство Коммунистической партии Западной Украины.
С 1927 - ректор Ленинградского Института народного хозяйства имени Ф.Энгельса. В 1929-1930 годах - ректор Ленинградского политехнического института имени М. И. Калинина.
13 мая 1933 года Шумский был арестован по обвинению в принадлежности к «Украинской военной организации» и 5 сентября приговорен Коллегией ОГПУ к 10 годам содержания в Соловецком лагере. В 1935 году заключение в лагере было заменено ссылкой в Красноярск.
17 июля 1946 года пытался покончить жизнь самоубийством («Літературна Україна».- 25 лютого 1993).
В сентябре 1946 года сотрудниками НКВД под руководством Судоплатова он был вывезен из Красноярска и 18 сентября в Саратове (по дороге в Киев) убит по приказу Сталина.
Реабилитирован в 1958 году.
19 апреля 2011 года в Житомире установлена мемориальная доска на доме, где жил и работал А. Я. Шумский.