Sergiu Celibidache est né le 11 juillet 1912 à Roman. Il passe son enfance à Iasi, et il reçoit très tôt une éducation musicale. Étudiant en mathématiques, philosophie et musique à Iasi, puis à Bucarest et Paris, il s'inscrit en 1936 aux cours de composition à la Musikhochschule de Berlin. Deux ans plus tard, il suit les cours de direction d'orchestre du professeur Walter Gmeindl.

À cette époque, le jeune homme se sent attiré également par le bouddhisme et le bouddhisme zen. C'est son professeur préféré, Martin Steinke, qui lui apprend les limites de la pensée musicale.

La mort subite de Leo Borchard à la fin de la guerre propulse Celibidache à la tête de l'Orchestre philharmonique de Berlin. Il dirigera cet orchestre jusqu'en 1952. Les rencontre avec le grand Wilhelm Furtwängler sont pour le jeune chef roumain d'une importance décisive.

Depuis son départ de l'orchestre berlinois (Furtwängler, après l'enquête sur sa collaboration avec les Nazis, ayant repris la tête de l'orchestre), Celibidache évite presque systématiquement toutes les institutions du monde musical qui, selon, lui, se contentent de continuer la tradition et s'enfoncent dans la routine. Il ne se laisse plus engager que par des orchestres qui lui permettent de travailler conformément à ses exigences en matière musicale.

Ainsi, en 1979, il devient directeur artistique de l'Orchestre philharmonique de Munich et "Generalmusikdirektor" de la ville. C'est le dernier orchestre que Celibidache consent à diriger, si l'on excepte deux concerts-bénéfice avec l'Orchestre philharmonique de Berlin (qui, lors de la succession de Furtwängler.

Celibidache a reçu de nombreuses distinctions, telles que le titre de professeur honoris causa de la ville de Berlin, celui de docteur honoris causa de l'Académie de musique de la ville de Iasi laquelle lui a décerne également la citoyenneté d'honneur. La Bavière lui a décerné l'Ordre du Mérite, la République fédérale d'Allemagne la Grande Croix du Mérite, la ville de Munich la citoyenneté d'honneur.

Philosophiquement, Sergiu Celibidache ne croyait pas à l'accès à la réalité grâce au langage, l'écriture et la pensée. Il considérait que l'enseignement était l'activité humaine la plus noble. Aussi se consacrait-il beaucoup à l'enseignement, notamment en donnant ses cours sur la phénoménologie musicale aux universités de Mainz et Munich et en ouvrant une école de musique en France.

Il est mort le 14 août 1996 dans les environs de Paris.