Harvey Milkas gimė 1930 m. gegužės 22 d. Vudmere, Niujorke. Jis buvo antrasis Viljamo ir Minervos Milk'ų sūnus, kilęs iš garsios bendruomenės šeimos.
Būsimas politikas turėjo lietuviškų šaknų – jo lietuvių kilmės senelis Morisas valdė „Milk's Dry Goods“, kuri tapo didžiausia universaline parduotuve Long Ailende, ir padėjo organizuoti pirmąją apylinkės sinagogą.