Né et élevé à Vienne, Paul Schaffer a vécu une enfance heureuse, entouré de sa sœur, ses parents et sa grand-mère. Sa vie change brutalement avec l'occupation de Vienne par les nazis et l'annexion de l'Autriche. Il découvre les humiliations, les persécutions et s'exile une première fois avec sa famille en Belgique.
En mai 1940, les Allemands attaquent la France par la Belgique et la Hollande. La famille Schaffer décide de quitter Bruxelles et se rend à Revel, un village du Sud-ouest de la France, non loin de Toulouse. La vie s'organise peu à peu : Paul, qui ne va plus à l'école, s'occupe du jardinage, effectue divers travaux domestiques et apprend le métier d'ébéniste.
A la fin de l'année 1940, les Schaffer sont « invités » à rejoindre « un camp de famille », le camp d'internement d'Agde, essentiellement composé de Juifs réfugiés d'Allemagne et d'Autriche. Une amie de la famille, habitante de Revel, use de son influence auprès de la préfecture, permettant ainsi à la famille de quitter le camp pour être assignée en résidence surveillée. Les Schaffer, peu informés, ne cherchent pas à quitter la France et ne se doutent pas du sort qui les attend.
A la suite de la rafle du Vel' d'Hiv', les Allemands font pression sur Laval, alors à la tête du gouvernement de Vichy, pour que les Juifs étrangers de la zone Sud soient ajoutés à la liste des déportations. C'est ainsi que Paul est arrêté le 26 août 1942. Sur les murs du camp de Drancy, où il reste quelque jours, il relève plusieurs inscriptions gravées par des déportés qui le marqueront à jamais : « Lorsqu'il n'y a plus rien à espérer, c'est là qu'il ne faut pas désespérer » et une autre assertion tragique « on entre, on crie et c'est la vie ; on crie, on sort et c'est la mort ».
Le 4 septembre 1942, par le convoi 28, Paul est déporté à Auschwitz avec sa mère et sa sœur qui sont gazées dès leur arrivée. Il échappe à ce sort : il est interné dans deux camps de travaux forcés, satellites d'Auschwitz : Tarnovitz, puis Schoppinitz, avant de rejoindre Birkenau en novembre 1943. C'est là qu'il se trouve confronté à la réalité de l'extermination.