In de wachtkamer van het station van Antwerpen zit een man: jeugdig, met blond haar, zware wandelschoenen, een blauwe werkbroek en een oude rugzak, verdiept in het maken van aantekeningen en schetsen. De verteller van Austerlitz raakt gefascineerd en spreekt de man aan, en dat is het begin van een relatie die zich, soms met grote tussenpozen, door de decennia heen ontwikkelt en de verteller steeds meer in beslag neemt. Jacques Austerlitz is de naam van de raadselachtige vreemdeling, en stap voor stap wordt het levensverhaal van deze eenzame, zwaarmoedige reiziger onthuld. Hoewel Austerlitz al jaren in Londen woont, is hij geen Engelsman. In de jaren veertig is hij als joods vluchtelingenkind in de pastorie van een klein dorp in Wales terechtgekomen. Hij groeit in eenzaamheid op bij het oudere, vreugdeloze domineesechtpaar, en als hij na jaren zijn herkomst en zijn ware naam te horen krijgt, weet hij waarom hij zich een vreemdeling tussen de mensen voelt.