Родился в селе Рамонье Воронежской губернии 7 октября 1866 года в семье Якова Трофимовича и Марфы Прокофьевны Аллилуевых. Отец был кучером, а мать - горничной при барском доме. После смерти отца семейства от холеры, на руках матери осталось пятеро маленьких детей. В двенадцать лет Сергей вынужден был пойти «в люди».
В августе 1890 года Аллилуев вместе с товарищем выехал во Владикавказ, откуда по Военно-Грузинской дороге они добрались до Тифлиса, где Аллилуев устроился работать в железнодорожные мастерские. Там Аллилуев сведёт знакомство с Алексеем Пешковым (Максим Горький).
В июле 1896 года Аллилуев уходит из мастерских и занимает должность помощника машиниста в депо станции Михайлово (ныне Хашури). Весной 1899 года из-за заболевания малярией вынужден был оставить Михайлово и вместе с семьей переехал в Екатеринослав, где познакомился с Г. И. Петровским. В конце декабря 1899 года Аллилуевы возвратились в Тифлис. Участник тифлисской маёвки 1900 года.
За революционную деятельность в 1903 году ему было запрещено жить на Кавказе. Переехал в Ростов, затем (1907-1918) жил в Санкт-Петербурге (Петрограде). По свидетельству Ирины Гогуа, Л. Б. Красин «устроил Аллилуеву заведование подстанцией. Была эта подстанция в Петербурге».
Его квартира в доме 17-а по 10-й Рождественской улице постоянно использовалась большевиками для конспиративных встреч. После февраля 1917 года Сталин приехал из туруханской ссылки в Петроград и жил у С. Я. Аллилуева. В этой же квартире в июле 1917-го некоторое время укрывался Ленин. В 1938 году квартиру сделали мемориальной и она стала называться «Музей-квартира И. В. Сталина» (после осуждения культа Сталина она была переименована в «Музей-квартиру В. И. Ленина», сейчас «Музей-квартира Аллилуевых»).
В годы гражданской войны С. Я. Аллилуев вел подпольную работу на Украине и в Крыму.
После революции работал в области электрификации, строил Шатурскую ГЭС, работал в «Ленэнерго».
Могилы Аллилуевых на Новодевичьем кладбище. Могила Сергея Яковлевича - вторая справа.
Умер С. Я. Аллилуев в Москве от рака желудка в 1945 году. Похоронен на Новодевичьем кладбище.
СемьяЖенился в 1893 году на жительнице Тифлиса Ольге Евгеньевне Федоренко (1877-1951).
Четверо их детей - Павел (1894-1938), Фёдор (1898-1955), Анна (1896-1964) и Надежда (1901-1932) - родились на Кавказе, выросли в Петрограде, учились в гимназии. Надежда Аллилуева стала женой Сталина.