Nuo pat „Chelsea“ viešbučio atidarymo jis tapo bohemos menininkų namais, kurie Viktorijos laikų pastate gyveno beprotiškai pašėlusiai. Tačiau atsiradus šiai laisvei, netrukus „Chelsea“ tapo smurto, narkomanijos ir mirties centru.
„Chelsea“ viešbutis buvo suprojektuotas kaip utopija, tiesiogine prasme – miesto sambūvio eksperimentas. Architektas Philipas Hubertas, įkvėptas prancūzų filosofo Charleso Fourier, 1884 m. pastatė viešbutį, siekdamas, kad jis taptų nauju bendruomeninio gyvenimo būdu.
Kai kurie apartamentai buvo skirti juos stačiusiems amatininkams, o 12-asis aukštas – skirtas menininkų studijoms.
1905 m., po to, kai sunkūs laikai ir didelės išlaidos privedė projektą prie bankroto, pastatas buvo pertvarkytas į prabangų viešbutį „Chelsea“, pasinaudojant jo padėtimi pačiame miesto teatro rajono centre.