George‘as Alanas O‘Dowd‘as gimė 1961-ųjų birželio 14-ąją Barneehurste, Kente. Vaikinas užaugo didelėje šeimoje – turėjo keturis brolius ir seserį. Dar vaikystėje norėdamas išsiskirti iš kitų jis dėvėdavo įvairiaspalvius ekstravagantiškus rūbus.
Nors gimė Anglijoje, Boy George‘as turi airiškų šaknų tiek iš motinos, tiek iš tėvo pusės.
George‘o vaikystė buvo sunki – berniukas kentė tėvo smurtą. Jo tėvas nenorėjo priimti sūnaus už tai, koks jis buvo iš tiesų. Maža to, už savo išskirtinį stilių ir iššaukiantį elgesį jis galiausiai buvo išmestas iš mokyklos.