Йозеф - воспитанник «Линца». В 1990 году он подписал с клубом свой первый профессиональный контракт. В 1994 году он свои оставлял ворота «сухими» на протяжении 1241 минуты (тринадцати матчей), что сыграло решающую роль в повышении «Линца» в классе. Почти девять лет Йозеф выступал за «Линц», пока в зимнее трансферное окно сезона 1998/99 не перешёл в «Штурм».
Шикльгрубер первоначально пришёл в качестве запасного вратаря клуба. После того как основной вратарь Казимеж Сидорчук подвергся длительной травме, Йозеф занял место в воротах команды. Он выступал так хорошо, что усадил восстановившегося после травмы Сидорчука на скамейку запасных. В составе «Штурма» Йозеф выигрывал чемпионат Австрии в сезоне 1998/99 и в последующие два сезона завоёвывал серебряные медали первенства. Шикльгрубер выдал ряд великолепных матчей в Лиге Чемпионов 2000/01 и помог клубы выйти из своей группы во второй раунд.
После инцидента в третьем раунде Кубка УЕФА 1999/2000 Шикльгрубер получил прозвище «Паннен Пепи»: В ответном матче против «Пармы» «Штурм» вёл со счётом 3-1 после дополнительного времени и был близкок к плей-офф. Чтобы предотвратить гол за несколько минут до финального свистка Шикльгрубер поймал мяч, направленный сильным ударом. Однако голкипер не устоял и зашёл вместе с мячом в ворота, слишком сильный был удар. В итоге «Штурм» вылетел по дополнительным показателям.
Ийозеф Шикльгрубер в игре за «Альтах»
Летом 2001 года Шикльгрубер перешёл в «АСКО Пашинг», который через год вышел в Бундеслигу. Шикльгрубер стал любимцем местных болельщиков: он был ключевым игроком команды и практически в одиночку превратил «сельский клуб» в однин из сильнейших клубов австрийского футбола. После развала «АСКО Пашинг» в начале 2007 года, многие игроки покинули клуб. Шикльгрубер вернулся в «Штурм». Он больше не мог рассчитывать на постоянное место в основе и был вынужден смириться с ролью запасного вратаря. В конце сезона 2007/08 он в первый раз объявил о завершении карьеры. Однако в начале июня 2008 года было объявлено, что Шикльгрубер отыграет осеннюю часть сезона 2008/09 в связи с травмой основного голкипера. 15 января 2009 года клуб «Альтах» объявил о переходе 41-летнего ветерана, который таким образом стал самым старым игроком в австрийской бундеслиге. 31 мая 2009 года Шикльгрубер закончил свою карьеру на профессиональном уровне в последнем туре сезона 2008/09, когда он в составе уже оформившего свой вылет «Альтах» победил нового чемпиона «Ред Булл» со счётом 4-1. На 88-й минуте игры он был заменен на вратаря Андреаса Михля и покинул поле под овации вставших зрителей зальцбургского стадиона. Bei den Oberösterreichern kam er bis dato Он вернулся в Пашинг и полтора сезона выступал за полупрофессиональный «Пашинг». Завершив свою карьеру, Йозеф стал тренером вратарей этого скромного клуба.