Пирс родился приблизительно в 1842 году в провинции Гуандун империи Цин. «Джозеф Пирс», естественно, не было именем, данным ему при рождении, но определить его настоящее китайское имя на сегодняшний день не представляется возможным. Существует несколько различных версий того, как Пирс оказался в США. По одной из них, опубликованной в его некрологе, Пирс в юном возрасте неведомым образом оказался в Японии, где не имел близких и нищенствовал; там он был обнаружен американским капитаном жозефом А. Пирсом из Новой Британии, приплывшим в Японию, который якобы не смог разыскать родственников мальчика и решил взять его с собой в Америку, поселив затем в своём доме и дав мальчику своё имя.
Существует также версия о происхождении Пирса, рассказанная его сослуживцем по 14-му Коннектикутскому пехотному полку Эдвином Страудом. Эдвин рассказывал, что маленький Пирс был спасён капитаном из Коннектикута по имени Амос Пек в море в 40 милях от китайского побережья. В то же время в семье самого капитана Пека была иная версия относительно Пирса: он признавал, что принял Пирса на воспитание, но при этом рассказывал, что это случилось в самом Китае, в провинции Гуандун, и он якобы купил мальчика за шесть долларов у собственного отца Пирса, поскольку тому очень сильно нужны были деньги, чтобы прокормить свою голодающую семью. При этом другие члены семьи Пека рассказывали, что на самом деле глава семьи купил мальчика у старшего брата Пирса за 50 или 60 долларов США. Хотя сама по себе сделка больше напоминала приобретение раба, капитан Пек решил сделать мальчика членом своей семьи. Экипаж корабля Пека дал ему прозвище «Джо», а фамилию ему дали в честь тогдашнего президента США Франклина Пирса, и его имя, таким образом, якобы стало «Джозеф Пирс».
В 1861 году в США началась Гражданская война между Севером и Югом. В следующем году, 26 июля 1862 года, Пирс, живший на ферме семьи Пеков в городе Берлин, штат Коннектикут, вступил добровольцем в армию Союза и получил назначение в роту F 14-го Коннектикутского пехотного полка Потомакской армии. В первом же своём бою - сражении при Энтитеме - он был ранен и более месяца находился в госпитале. После долгого лечения, вызванного осложнениями от ранения, он вернулся в строй в мае 1863 года и 2 июля участвовал в битве при Геттисберге, а уже 3 июля вызвался участвовать добровольцем в битве при Блисс-Бэрне. Вечером того же дня Пирсу было приказано похоронить тела погибших в этой битве - это стало его наказанием за то, что, как считалось, он в результате устроенного в лагере конфедератов пожара был виновен в уничтожении чайников, палаток и другого имущества, однако в итоге Пирс за храбрость, проявленную в ходе этой битвы, 1 ноября того же года был произведён в капралы, став обладателем самого высокого звания среди солдат китайского происхождения, воевавших в армии Союза. Впоследствии он был отправлен в Нью-Хейвен, где занимался вербовкой новобранцев, вновь вернувшись на фронт в сентябре 1864 года. 10 мая 1865 года Гражданская война закончилась победой Севера, и 31 мая того же года Пирс ушёл в отставку.
После войны Пирс стал гравёром по серебру; он поселился в городе Мериден, где провёл остаток своей жизни. 12 ноября 1876 года он и женщина по имени Марта Морган поженились; в браке у них родилось два мальчика и две девочки, но только оба сына выжили. С конца 1890 года Пирс стал получать ежемесячную пенсию в размере 10 долларов как получивший ранение ветеран войны; в 1907 году пенсия после его просьб была увеличена на два доллара, а в ноябре 1912 года её сумма была поднята до 24 долларов, но более не повышалась. Пирс продолжал работать до 1915 года. 3 января 1916 года Пирс скончался в возрасте 73 лет вследствие гриппа, бронхита и атеросклероза и был похоронен на Валвутском кладбище. Местная газета после этого опубликовала его некролог, не упомянув в нём о его китайском происхождении, а лишь написав, что он был «хорошо известен и любим народом».