Žemės sklypą prezidento rezidencijos statybai 1791 m. parinko tuometinis JAV prezidentas George'as Washingtonas – tokį prezidento pasirinkimą numatė Pietų ir Šiaurės atstovų pasiektas taikos kompromisas.
Po metų, prasidėjo Baltųjų rūmų statyba, o jau 1798 m. buvo baigti galutiniai pastato statybos darbai, tačiau savo tikrąjį pavadinimą pastatas iš tiesų gavo tik po šimtmečio.