Фанис Яруллин родился 9 февраля 1938 года в деревне Кызыл-Яр Бавлинского района Татарской АССР. Его семья была многодетной - шесть детей воспитывала одна мать, поскольку отец Фаниса - Яруллин Гатаулла - погиб на фронте в 1942 году. В трудные послевоенные годы у Фаниса Яруллина не было возможности получить хорошее образование. Чтобы избежать голода, в 1954 году после окончания 8-го класса 16-летний Фанис в поисках работы уезжает в районный центр и устраивается монтёром в контору связи объединения «Татнефть». Через 3 года он становится уже высокоразрядным монтёром.
В 1957 году Фаниса призывают в армию, где он попадает в школу авиации, в которой готовят воздушных стрелков-радистов. Он также записывается в спортивную секцию, где начинает заниматься легкой атлетикой. В этой области он добивается отличных результатов. Однако во время упражнений Фанис неудачно падает на спину и оказывается навсегда прикованным к постели. Здесь он впервые пробует себя в поэзии. Находясь в больнице, Фанис заканчивает среднюю школу. В 1964-1970 годах Фанис заочно учится в Казанском государственном университете и успешно оканчивает его.
В 1964 году в Татарском книжном издательстве выходит первый сборник его стихов. («Мин тормышка гашыйк» - «Я влюблен в жизнь»). В том же году на Всесоюзном конкурсе, проведённом «Комсомольской правдой», стихи Фаниса Яруллина занимают 2-е место и включаются в поэтический сборник «Розовый олень», который выходит в издательстве «Молодая гвардия». Стихи, рассказы Фаниса Яруллина печатаются в различных газетах и журналах, альманахах в переводах на русский, казахский, украинский, венгерский, болгарский и другие языки.
От небольших по объёму произведений - стихов и рассказов - Фанис постепенно переходит к написанию больших поэм и повестей. Повести «Упругие паруса», «Крик гуся», «Мелодия цветов» и поэтические произведения - «Крик души», «Нэсел агачы» («Древо жизни») принесли ему особенную известность. В 1978 году за сборники стихов «Дыхание» и «Неразлучный друг» Фанису Яруллину была вручена республиканская премия имени Мусы Джалиля, а в 1995 году его книга «Крик души» была удостоена Государственной премии РТ имени Габдуллы Тукая.
В 2001 году ему присвоено звание Народный поэт Республики Татарстан. В 1984 году за успехи в области литературы писателю было присвоено звание «Заслуженный работник культуры Республики Татарстан», а в 1988 году награждён орденом «Дружбы народов». Его произведения включены в школьные учебники. Ежегодно студенты КГУ, Казанского государственного гуманитарно-педагогического университета, учащиеся колледжа и педагогического училища выполняют курсовые и защищают дипломные работы по его произведениям. Фанис Яруллин является автором 46 книг.
Скончался после продолжительной болезни 9 декабря 2011 года.