Ab dem Jahre 1517 begannen die Grafen von Mansfeld mit dem Ausbau der Festung. Diese Maßnahme zog sich bis in das Jahr 1549 und diente vorrangig der Sicherung der parallel dazu entstehenden Schlösser Vorderort, Mittelort und Hinterort. Die Fortifikationsarbeiten wurden in den Anfangsjahren durch den aus Nürnberg stammenden Festungsbaumeister Martin Harder und in der Endphase durch Christoph Stieler aus Magdeburg geleitet.
Wer heute einen Spaziergang rund um die Festung unternimmt, kann die gewaltige Bauleistung wirklich nachvollziehen. Der Schlosskomplex war von mächtigen Befestigungswerken umgeben. Besonders die in relativ ebenes Gelände übergehende Süd- und Ostseite war von einem System aus tiefen und breiten Gräben, starken Mauern und Rondellen geschützt. Die Nord- und Westseite wurde durch eine Ringmauer abgesichert. Hier bildete der steile Geländeabfall eine zusätzliche natürliche Barriere für jeden Angreifer, die durch die gewaltige Minenbastion im Nordwesten zweifellos unterstützt wurde. Noch heute prägt die massiv wirkende Mine das Bild des Schlosses.
An diesen äußeren Befestigungskomplex schloss sich ein innerer an, der im wesentlichen durch die Schlösser Vorderort, Mittelort und Hinterort gebildet wurde. Auch dieser innere Ring wies starke Fortifikationen auf. Hier sind besonders die Fuchsbation im Nordosten und die gewaltige Katzenbastion im Süden zu erwähnen. Jede dieser Bastionen war wiederum durch diverse vorgelagerte Befestigungswerke verstärkt. Die einzelnen Festungsteile waren durch gewölbte Kasematten untereinander verbunden, von denen heute – viele Jahrhunderte nach der Schleifung der Festung – nur noch Reste zu besichtigen sind. Der einzige Zugang zu den Schlössern führte durch ein Torhaus an der Ostseite, das durch zwei Zugbrücken und ein vorgelagertes großes Ravelin gesichert war.
Die Festung Mansfeld dürfte mit ihren gewaltigen Bastionen Mine und Katze, den Mauern und Gräben sowie durch ihre imposante Ausdehnung einen tiefen Eindruck beim damaligen Betrachter hinterlassen haben, auch wenn der zeitgenössische Stich von Merian mit Sicherheit hinsichtlich der Ausmaße einzelner Festungswerke übertreibt. Aus militärischer Sicht war sie aber bereits zum Zeitpunkt ihrer Erbauung nicht mehr ideal. Der Grundriss der Festung war zu unregelmäßig, die Mauerstücke zwischen den Hauptbastionen zu lang und vor allem nicht geradlinig. Damit war eine optimale Verteidigung mit Handfeuerwaffen und Artillerie nicht gewährleistet. Warum keine regelmäßige Anlage geplant und erbaut wurde, ist heute nicht mehr nachvollziehbar, denn das Wissen über den modernen Festungsbau war in der Grafschaft Mansfeld zu dieser Zeit bekannt. Das zeigt bespielsweise die Festung Heldrungen, die ebenfalls den Mansfelder Grafen gehörte, eindrucksvoll. Auch an den Resten des Neuen Schlosses bei Braunschwende, unmittelbar an der Harzhochstraße B242 gelegen, lässt sich der Stand der Festungsbaukunst jener Zeit mustergültig studieren.
Etwa zeitgleich bauten die Grafen auch an den Schlössern Arnstein, der Festung Heldrungen und Seeburg. Da einerseits die wirtschaftlichen Rahmenbedingen der Kupfer- und Silbergewinnung, von der die Grafen ja hauptsächlich lebten, sich ständig verschlechterten und andererseits der Kinderreichtum der Grafen zu immer neuen Problemen führte, steuerte die Grafschaft und damit auch die Festung Mansfeld unaufhaltsam dem Ruin entgegen. 1570 wurde die Vorderortsche Linie sequestriert. Eine Kommision stellte Schulden in Höhe von fast 2,75 Millionen Gulden fest. Da die ebenfalls verschuldeten Linien vom Mittel- und Hinterort nicht zahlen konnten, erzwangen die Gläubiger der sechs Grafen von Manfeld-Vorderort 1570 die Zwangsverwaltung dieses Teiles der Grafschaft. Der nicht ganz so hoch verschuldete Mittel- und Hinterort wurde unter Landesverwaltung gestellt, damit die Schulden aus den Einkünften der Grafen abgetragen werden konnten. Die Grafen bewohnten ab diesem Zeitpunkt die in der Festungsanlage gelegenen Schlösser nur noch als Privatpersonen. Die Grafschaft selbst wurde 1579 zu 3/5teln Kursachsen und zu 2/5teln dem Erzstift Magdeburg zugeschlagen.
Das Erzstift Magdeburg zeigte ab diesem Zeitpunkt großes Interesse an der Festung, weil sie für deren Gebiete eine strategisch wichtige Lage hatte. Bereits 1575 wurde deshalb die Festung ein erstes Mal durch magdeburgische Truppen besetzt. Auch 1581 und 1588 bis 1597 saßen Truppen der Magdeburger wegen angeblicher Unruhen in der Grafschaft auf Schloss Mansfeld. Im Dreißigjährigen Krieg weckte die Festung die Begehrlichkeiten der durchziehenden Truppen. 1631 waren auf der Festung 43 Geschütze und 70 Musketen vorhanden. Bis 1644 wurde die Festung Mansfeld fünfmal belagert und auch ihr Besitzer hatte mehrfach gewechselt. Die Einnahme der Festung gelang jedoch immer nur durch Kriegslist, niemals durch Erstürmung. Die Grafen selbst waren am Schicksal ihrer gemeinsamen Residenz desinteressiert: sie kämpften gemeinsam oder auch gegeneinander.
Nach dem Dreißigjährigen Krieg wurde die Festung zum Spielball der Interessen Kursachsens und Magdeburgs. 1650 wurde die Festung dem Mansfelder Grafen Christian Friedrich von Mansfeld-Hinterort übergeben, der aber nur zehn Söldner als Besatzung auf die riesige Anlage schickte. Der Administrator von Magdeburg, August von Sachsen-Weissenfels, bemühte sich nun beim Kurfürsten von Sachsen, aber auch bei den Ständen der Grafschaft Mansfeld, um eine Instandsetzung der Festung. Diese war insbesondere mit einem hohen finanziellen Bedarf verbunden. Die Mansfelder Stände- und Städtevertreter, und zwar der gesamten Grafschaft, schlugen dagegen entweder die Schleifung der Festung oder die Finanzierung der Baumaßnahmen durch die Grafen vor. Die Grafen, nach wie vor zahlungsunfähig, verwahrten sich dagegen.
Im Jahre 1664 besetzte der Administrator von Magdeburg die Festung und erpresste die Kosten für die Instandsetzung und die Besatzung bei den Ständen der Grafschaft. Diese sahen sich nach den enormen Belastungen des Dreißigjährigen Krieges erneut der Willkür des Militärs ausgesetzt. Ein langer Rechtsstreit sollte deshalb folgen. Bereits 1665 klagten die Städte- und Ständevertreter gemeinsam mit den Grafen auf dem Kreistag zu Leipzig gegen den Magdeburger Administrator und forderten erneut die Demolierung der Festung. Dieser wurde vom Kaiser am 23. Juli 1665 angewiesen, das Eintreiben von Geldern und die Bauarbeiten zu beenden. Der Administrator dachte jedoch nicht daran, dieser Weisung Folge zu leisten.
Der Druck der Kläger stieg so stark an, dass der Kreistag zu Leipzig im Jahre 1672 die Schleifung der Festung beschloss, damit die Grafschaft nicht „vollents übern Hauffen undt ruinieret werden möchte“. Für die Mansfelder muss dies befreiend gewesen sein, denn sie verpflichteten sich, die Kosten für die Schleifung zu übernehmen. Die Grafen von Mansfeld stimmten dem Kreistagsbeschluss zu, verlangten aber, dass ihre Schlösser verschont bleiben und wiederum mit einer Mauer gesichert würden. Dieser Antrag wurde bewilligt, aber eine Mauer wurde später nicht wieder aufgebaut. Auch der Administrator von Magdeburg musste sich dem Beschluss beugen, konnte aber die Schleifung noch bis 1674 herauszögern.
Die Mansfelder Stände- und Städtevertreter forderten nach dem Dreißigjährigen Krieg erfolgreich die Schleifung der Festung Mansfeld. Mit der Demolierung der Festung wurde Brand von Lindau, damals unter anderem Stiftshauptmann zu Quedlinburg, betraut. Nach eingehender Besichtigung der Festungswerke im Jahre 1673 veranschlagte er eine Summe von 9.000 bis 10.000 Taler für die Arbeiten. Er nahm einen Plan der Festung auf und erarbeitete einen Vorschlag für die Durchführung der Schleifung.
Am 1. Juni 1674 wurde mit den Arbeiten zur Zerstörung der Festung Mansfeld begonnen. 400 Mann, Handfröhner, Maurer, Steinbrucharbeiter und Mansfelder Bergleute sowie zusätzlich 30 Bergleute aus Freiberg wurden dazu herangezogen. Die Arbeiten konzentrierten sich zuerst auf die starken Festungswerke auf der Süd- und Ostseite: Katze, Mittelbastei, Ravelin und Fuchs. Die Werke der Nord- und Westseite blieben unangetastet. Noch heute bestimmt die Minenbastei das Aussehen des Schlosses. Mittels reiner Handarbeit wurde das Erdreich auf den Bastionen und – soweit es ging – auch das Mauerwerk abgetragen. Die Bastionen wurden dann unterhöhlt, miniert und mittels Schwarzpulver gesprengt, soweit sie überhaupt nachgaben.
Oft wurde die Stärke der Mauern erst nach dem Abkarren der Erdmassen sichtbar. Erde und Schutt wurden in den äußeren und mittleren Festungsgraben geschüttet. Die Werke, die nicht oder nur teilweise gesprengt werden konnten, wurden ebenfalls mit Erde und Schutt verfüllt und so unbrauchbar gemacht. Bereits wenige Tage nach dem Beginn der Schleifung wurde klar, dass die veranschlagte Geldmenge nicht ausreichen würde. Die Handfröhner arbeiteten nach einer Meldung Brand von Lindaus an den Kurfürsten von Sachsen zu langsam. Auch war der Pulververbrauch enorm.
Die Handfröhner wurden im Winter aus Gründen der Geldmittelknappheit beurlaubt und nach Hause geschickt. Bergleute und einige andere Spezialisten arbeiteten aber weiter und setzten die Zerstörung der Festung, soweit es eben ging, fort. 1675 kamen die Arbeiten zum Stillstand, ohne das die Schleifung vollendet wurde. Letztlich kostete die Zerstörung der Festung Mansfeld mehr als 12000 Taler. Brand von Lindau bekam 1200 Taler „weil Er stets darbey sein müssen“. Alle auf der Festung vorhandenen Geschütze wurden nach Leipzig und die Munition auf die Festung Heldrungen gebracht.