Родители Джозефа совсем не были извергами, зарабатывавшими на ребенке, — они воспитывали в нем самостоятельность с самого детства. Папа был радиоведущим на станции Pacifica Radio, мама там же работала редактором. Однажды она даже баллотировалась в Конгресс от Партии свободы и мира. А дедушка мальчика по материнской линии — Майкл Гордон — был кинорежиссером. Однако в 50-х он оказался в «черном списке» Голливуда из-за коммунистических взглядов и почти на десять лет был отлучен от профессии. В одном из интервью Гордон-Левитт рассказывал, что в его семье всегда придерживались левых взглядов, родители были политически подкованными активистами, а на полке у них, к примеру, стояла книга об Уотергейте. Мама Джозефа была феминисткой и в этом же духе воспитала сына.