Ходил в колледж города Ричмонд-на-Темзе. Был прилежным учеником, однако страдал дислексией. Обучался искусству фотографии.

После колледжа поступил в Лондонскую академию Веббера Дугласа.

Некоторое время прожил в плавучем доме.

Его отец - актер Майлз Андерсон и его мать Лесли Дафф, талантливый агент в компании Даймонд Менеджмент Лтд (Diamond Management Ltd.)

Брат, Макс Андерсон, стал чемпионом 2006 и 2009 годов по стритборду (World Streetboard Champion).

Телевизионная карьера Джо началась в возрасте 5 лет в фильме "Знаменитый судебный процесс/Cause Célèbre", где он сыграл маленького Джона.