تبدأ الرواية عام 1815 في مدينة ديني الفرنسية،  حيث كان جان فالجان للتو قد أطلق سراحه بعد تسعة عشر سنة قضاها مسجونًا في سجن طولون،  يرفض أصحاب الفنادق في مدينة ديني استقباله لديهم بسبب جوازه الأصفر الذي يشير إلى كونه مجرما سابقاً. يستضيفه شارل ميريل أسقف مدينة ديني في بيته،  وفي الليل يهرب جان فالجان سارقاً أواني الفضية من بيت الأسقف،  يتظاهر ميريل بأنه هو من أعطى هذه الفضيات لجان فالجان،  فيخبر ميريل جان فالجان بأن حياته قد وهبت لله، يأخذ جان فالجان كلمات ميريل ويمضي،  فيختبئ جان فالجان حينما يبحثون عنه،  ويصير جان فالجان - مستخدماً اسم مادلين - مالكاً ثرياً لمصنع في مدينة مونتريل سرمير ويتم تعيينه عمدة للمدينة.  وبينما هو يسير في طرق المدينة شاهد رجلاً محصورًا تحت عجلات العربة،  وحينما لم يتطوع أحد لإنقاذه يقرر أن ينقذه بنفسه فيستلقي بنفسه تحت العربة ويرفعها لينقذ بذلك الرجل.  والذي كان حارساً في سجن طولون وقت احتجاز جان فالجان،  قد كان يعرف شخصاً واحداً بهذه القوة،  وعندما وصلت فانتين إلى مدينة مونتفيرميل تركت طفلتها كوزيت في رعاية عائلة تيناردييه، فانتين لم تكن تعلم أن التيناردييه كانوا يسيئون معاملة كوزيت،  ويستغلونها لتعمل لديهم في النزل،  وتستمر جاهدة في تلبية طلباتهم الابتزازية والوهمية.  وتتعرض مع ذلك للطرد من مصنع جان فالجان،  وبكل يأس تضطر فانتين لبيع شعرها وأسنانها الأمامية،  فترد بضربه ويقبض عليها جافيير.  ورغم توسلها له بأن يطلقها لتتمكن من توفير النقود لابنتها كوزيت،  يحكم عليها جافيير بالسجن ستة أشهر.  يقاوم جافيير ذلك لكن جان فالجان يتمكن من إنقاذها.  يشعر جان فالجان بالمسؤولية لأنها طردت من مصنعه، فيما بعد يحصل أن يتهم رجل جائع بالسرقة بعد أن التقط من الطريق العام غصنًا فيه بقايا فاكهة.  ولما كان هذا الرجل كثير الشبه بجان فالجان فقد وجهت له تهمة السرقة على أنه هو جان فالجان مع ربطها بتهمة سرقة سابقة لنقود طفل ظناً بأن جان فالجان قام بها بعد خروجه من السجن بأيام.  أما مفتش الشرطة جافيير فقد كان من أكثر المتحمسين لإلصاق التهمة بذلك الرجل،  وشهد أمام المحكمة أنه جان فالجان نفسه،  ولم يكن هناك أحد يشك بصحة شهادة مفتش الشرطة جافيير فهو كان ضمن سجاني السجن آنذاك.  نفسه للمحكمة بعد صراع طويل مع الذات وتأنيب ضمير كي ينقذ ذلك الرجل البريء وكشف عن حقيقة نفسه مما عرضه لعقوبة السجن من جديد،  وقضى بقية حياته طريدًا بعد أن تبنى كوزيت ابنة فانتين بعد وفاتها وكرس حياته لإسعادها.