Milburn werd begin deze eeuw opgericht in Sheffield, tijdens de gouden periode voor indierockbands met als koningen hun stadsgenoten Arctic Monkeys. Met die band mochten ze al snel mee op tournee en zo bouwden ze aan een grote fanbase door heel Engeland. In 2008 ging de band uit elkaar, om pas in 2016 een aantal reünieshows te doen. Daar zaten mensen op te wachten, want in luttele minuten verkocht Milburn meer dan 10.000 kaarten.