Jacobsen er født og oppvokst i København, og tok sin arkitekturgrad ved Det Kongelige Danske Kunstakademi i København. Etter at han ble uteksaminert i 1927 fikk han sin første jobb som byarkitekt i København, og bare to år senere åpnet han sitt eget studio.
Som arkitekt hadde Arne Jacobsen svært gode beslutningsevner. Dette resulterte i at mange av hans mer berømte prosjekter var «gesamtkunstwerk», noe som betyr at han ikke bare designet selve bygningen, men også de fleste interiørdetaljene, som lysarmaturer, møbler, dørhåndtak, stoffer og til og med bestikk. Sammen med stolene Ægget og Svanen designet Jacobsen AJ-lampen til SAS Royal Hotel i København, som åpnet i 1960.
Arne Jacobsen mottok i sin levetid flere prestisjetunge priser for prosjekter som Nationalbankens bygning i København (1971), SAS Royal Hotel & Terminal, København (1960) og St. Catherine's College i Oxford, Storbritannia (1963). Noen sier at frykten for å fly hindret hans potensial til å ha en innflytelse på det amerikanske arkitektmiljøet.
Jacobsen jobbet som professor ved Det Kongelige Danske Kunstakademi i 11 år og påvirket en hel generasjon av danske arkitekter. Etter hvert utviklet de sitt eget arkitektoniske språk, som ofte bygget på samme funksjonalistiske og minimalistiske tilnærming som Arne Jacobsens.