In der Nähe des heutigen KZ-Friedhofs Holzhausen-Magnusheim befand sich seit 1912 das Magnusheim, eine ursprünglich katholische Anstalt für geistig behinderte Mädchen (heute: Regens Wagner Holzhausen). Von 1941 bis 1945 wurde es von der deutschen Wehrmacht größtenteils als Reservelazarett zweckentfremdet.

Nach ihrer Ankunft in Landsberg ließen die US-amerikanischen Truppen Verwundete und Kranke des KZ-Außenlagerkomplexes Landsberg/Kaufering in das Reservelazarett verlegen. So wurde es bald zu einem Hospital für ehemalige KZ-Häftlinge.

Die ehemaligen Gefangenen, die im Magnusheim verstarben, wurden vor Ort beerdigt. Laut Gräberliste von 1960 wurden auf dem sogenannten Flüchtlingsfriedhof sechs, auf dem Dorffriedhof elf und auf dem heutigen KZ-Friedhof Holzhausen 94 ehemalige jüdische KZ-Häftlinge beerdigt.

1947 begann das Bayerische Landesentschädigungsamt mit der Gestaltung des KZ-Friedhofs, der in der Folgezeit auch als jüdischer Bestattungsort genutzt wurde. 1954 erfolgte eine Umgestaltung des KZ-Friedhofs. Die vorhandenen Grabsteine wurden entlang der Einfriedungsmauer aufgestellt. Die Bestatteten auf dem Flüchtlings- und dem Dorffriedhof wurden 1956 und 1960 exhumiert und auf den Ehrenfriedhof in Dachau umgebettet.