Яков Яковлевич Вебер родился в 1870 году в селении Голый Карамыш Сосновской волости Камышинского уезда Саратовской губернии в многодетной и не очень обеспеченной семье. Селение - это немецкая колония, основанная в 1765-66 годах и насчитывавшая к концу XIX века более семи тысяч жителей, ведущих весьма прозаическую жизнь.
Первую свою картину юный художник написал в 16 лет, правда, отец видел его в «более надёжном деле»: столярном или слесарном. Однако Яков Вебер проявил и упорство и настойчивость в желании быть художником, через 9 лет, уже будучи взрослым и семейным человеком, он вопреки сопротивлению родных и сельского схода, не выдавшего ему свидетельство (аналог паспорта), отбыл в Саратов - учиться искусству.
Художественный музей имени А. Н. Радищева - первое место работы Вебера, куда он поступил копиистом. Впрочем, рутинная подёнщина скоро перестала его удовлетворять, и благодаря советам и участию В. В. Коновалова и В. Э. Борисова-Мусатова Вебер уезжает в Москву, где какое-то время работает у К. А. Коровина.
Константин Коровин видит, что Вебер способен на большее, и рекомендует ему Париж - «Мекку художников». Но с Францией не сложилось, в основном по материальным причинам, и Вебер определяется в Пензенское художественное училища под начало К. А. Савицкого. Из стен училища Яков выходит зрелым мастером, что видно по его работе «Вьюга. Лошадь под навесом».
1903 - Яков Яковлевич поступает в Академию художеств в классы А. А. Киселёва и учится до 1909 года (учёба мастера продолжается долго - приходилось отвлекаться на выполнение заказов, чтобы семья могла сносно существовать). Посмотрев его волжские этюды, сам И. Е. Репин предложил Веберу перейти в его мастерскую. За период учёбы он ежегодно принимал участие в выставках, его картины посылались в Голландию, Швецию, Италию, отмечались премиями. Звание художника по окончании Академии получил за картину «Сумерки на Волге».
1915 - Яков Вебер вернулся на «малую родину». Он поселился в селе Щербаковке (Мюльберг) и не вернулся в столицу даже тогда, когда президент Академии художеств И. И. Бродский предложил ему взять руководство кафедрой пейзажа.
Дома же Вебер был в согласии с самим собой: обучал сельскую молодёжь грамоте и рисованию, руководил республиканской изостудией, преподавал в Энгельсском доме народного творчества (неофициально), принимал активное участие в жизни детской колонии («друг молодых коммунистов») и писал Волгу так, как должно было её писать во второй половине XIX века, как «главную улицу России».
Летом Щербаковка превращалась в «посёлок художников» - на этюды съезжались саратовские живописцы, но их влияние не сказывалось на творчестве Вебера.
Зимой 1921 года Вебер был как коммунист захвачен бандой Пятакова, действовавшей в Заволжье и только благодаря заступничеству учеников и односельчан избежал смерти. После этого написал мрачную картину «Под лёд».
Незадолго до смерти в одном из своих писем он исповедовался: "Я ведь именно человек коммунизма, но свобода художника мне слишком дорога - заказы не люблю, если они тормозят свободу художника… Продавать свои работы я никогда не мог. Даже цену на выполненные работы я не мог назначать - противна была всякая «торговля», и теперь таким ненормальным остался".
Был репрессирован в 1937 году. По некоторым данным, умер в 1958 году.