La décision de construire une résidence impériale à Marseille revient au Prince-Président, Louis Napoléon Bonaparte qui, lors de son voyage en septembre 1852, aurait souhaité avoir « une habitation ayant les pieds dans l'eau ».
La ville de Marseille, pour le remercier de son intervention lors de l'échange des terrains du Lazaret entre l'Etat et la ville de Marseille, acquit ceux du plateau du Pharo et les lui offrit en 1855.
L'emplacement posait des problèmes difficiles et coûteux à résoudre, c'était une enclave accessible uniquement par la mer, les terrains y étaient parmi les plus durs et les plus escarpés de la ville.
Sortir la résidence de son isolement allait nécessiter des négociations avec des propriétaires redoutables, le Ministre de la Guerre entre autres.
Les projets de l'architecte Jean-Marc Vaucher et de l'architecte de l'Empereur, M. Lefuel, se multiplièrent en fonction des désidératas du souverain. La première pierre de la Résidence fut posée le 15 Août 1858, jour de la fête de l'Empereur.
Cette demeure devait être le reflet de celle de l'Impératrice à Biarritz.
Le coût de la construction était basé sur celui du Château de Biarritz de l'époque.
Les travaux dépassèrent largement les estimations initiales car « le château projeté à Marseille est d'une plus grande étendue que celui de Biarritz, les caves y règnent sur toute la surface du bâtiment et la décoration extérieure est d'une grande richesse ». Bien qu'identique en « plan U » la résidence impériale de Marseille était prévue sur des dimensions un peu agrandies, avec plus de richesse dans les façades, une construction plus monumentale avec un étage de combles.
De plus, à Marseille, on employait uniquement la pierre et non la brique comme à Biarritz.
Lorsque la révolution éclata en 1870, le Palais du Pharo était à peine terminé (mais pas encore meublé).
La foule détruisit les insignes napoléoniens des grilles et de la façade.
Ils n'ont jamais été remplacés : l'Empire avait cédé sa place à la République.
C'est pour cela que la Résidence Impériale ne fut jamais occupée par l'Empereur et l'Impératrice.
L'ex-Empereur mourut deux ans plus tard.
Près de 1.500.000 francs de l'époque auraient été dépensés au gré des décisions fluctuantes de Napoléon III, sans que le Palais ne remplisse jamais sa fonction de résidence, même éphémère.
Le Palais du Pharo fut rendu à Eugénie, après la confiscation des biens privés de Napoléon III, mais la ville de Marseille le lui disputait. A l'issue d'un long procès, la propriété du Pharo revînt à Eugénie. Libre d'en disposer, elle décida alors de l'offrir à Marseille.
Cette résidence fut par la suite transformée en Ecole de Médecine (en 1904) : les ailes furent surélevées et la distribution intérieure modifiée. Ce bâtiment, peu reconnu par ses contemporains, connaît aujourd'hui un regain d'intérêt justifié par son histoire, son architecture et son site exceptionnel, largement ouvert sur la rade, les ports, la cathédrale et le Fort Saint-Jean. Aujourd'hui le Palais du Pharo est un lieu de travail.
On y trouve des services de la Ville de Marseille et un Espace de Congrès.