Die ersten Elemente des Schlosses sind Odon IV, dem Lehnsherren von Ham, zu verdanken. Er ließ im Jahr 1216 die steinernen  Befestigungsmauern errichten, die die Grundform der Festung bildeten (120 m lang mal 80 m breit)

Es dauerte bis zum 15. Jahrhundert und bis zur Herrschaft der mächtigen Familie der Luxemburger, ehe sein Baustil sich entwickelte.

Johann von Luxemburg ließ in dieser Zeit den Eingangsturm errichten (dies ist der einzige noch erhaltene Turm).

Sein Neffe, Ludwig von Luxemburg, Konnetabel von Frankreich, Graf von Saint-Pol, und Schwager von König Ludwig XI. ließ den Wehrturm bauen, den beherrschenden Teil der Festung. Seine Daten machen ihn zu einem herausragenden Bauwerk: der Durchmesser von 33 m, die Höhe von 28 m über dem Wasserspiegel des Somme-Kanals und vor allem die Mauerstärke von 11 m.

Vor den Toren der Ile de FRANCE gelegen, sollte das Schloss von Ham lange Zeit ein Objekt der Begehrlichkeit seiner Angreifer bleiben. Wir vermerken zum Beispiel die Belagerung von 1411, als Johann Ohnefurcht gegen seinen persönlichen Feind Karl von Orleans kämpfte, und später im Jahr 1557 die Belagerung durch die Spanier nach der Einnahme von Saint-Quentin durch König Philipp II und Emanuel Philibert.

Unter der Herrschaft von Heinrich IV. kam das Schloss wieder zur Krone von Frankreich und wurde Staatsgefängnis; besonders nach der Revolution diente die Festung von Ham als Kerker für mehr als nur eine berühmte Persönlichkeit.

Gefangene in Ham waren unter anderen : Ludwig von Bourbon, Prinz von Condé, im Jahr 1560, freigelassen von Karl IX.; Graf von Larochefoucauld (aus Roucy); Mirabeau saß in Ham ein, weil er ein „Memorandum an den König über das Spekulationswesen“ veröffentlicht hatte; Ludwig XVIII hielt dort den Marschall Moncey und ebenso Duroi de Chaumareix gefangen, den Kapitän der Fregatte „La Meduse“ (die Qualle), welche eine traurige Berühmtheit erlangte.

Der berühmteste Gefangene war jedoch von 1840 bis 1846 Louis Napoléon Bonaparte.

Das Fort von Ham ging in der Nacht von 18. zum 19. März 1917 durch das Dynamit der deutschen Truppen unter, die entschlossen waren, alle Monumente auf ihrem Rückzug systematisch zu zerstören.