Элвин Джонс родился в 1927 году в Понтиаке, штат Мичиган, и был младшим ребёнком в семье из десяти детей. Его братья, Хэнк и Тад, были успешными джазовыми музыкантами, поэтому в семье мальчика музыка всегда была в почёте. В 13 лет Джонс твёрдо решил стать барабанщиком и практиковался до десяти часов в день.
Свою карьеру Джонс начал в 1949 году в Детройте. Вскоре он стал выступать с такими музыкантами, как Чарли Паркер, Майлз Дэвис и Уорделл Грэй. В 1955 году в Нью-Йорке он предпринял неудачную попытку вступить в ряды музыкантов коллектива Бенни Гудмена, после чего присоединился к ансамблю Чарльза Мингуса. В 1960 году Джонс начал выступать в составе квартета Джона Колтрейна, где играл до 1966 года. В составе знаменитой четвёрки он записал ряд известных джазовых альбомов, в частности A Love Supreme. После ухода из квартета Джонс некоторое время играл в оркестре Дюка Эллингтона, а затем создал собственную группу - The Elvin Jones Jazz Machine.
Джонс использовал ударные инструменты не столько для такта, сколько для создания одновременного их звучания с солирующими инструментами. Его техника игры оказала влияние на таких известных ударников, как Митч Митчелл и Джинджер Бэйкер. Скончался Джонс в 2004 году от сердечной недостаточности в возрасте 76 лет.