Erst 54 Jahre nachdem der jüdischen Bevölkerung Neunkirchens die Anlage eines Friedhofes gestattet wurde hat man das etwa 0,3 Hektar große Gelände erworben und als Ruhestätte hergerichtet. Anfangs noch ohne feste Einfriedung wurde 1870 die Natursteinmauer angelegt. In der Folgezeit fanden zweimal Erweiterungen des jüdischen Friedhofes statt.

1938 wurde der Friedhof im Zuge der Novemerprogrome durch die Nazis geschändet, die Grablagen zerstört. Vier Jahre später begann man, dort sowjetische Zwangsarbeiter:innenn und Kriegsgefangene zu begraben.

Nach dem Untergang Hitlerdeutschlands wurde der Friedhof der Synagogengemeinde Saar übergeben. Danach begann die Wiederherrichtung der Ruhestätte, ein zentrales Gedenkmal wurde errichtet und 1955 auch ein Mahnmal für die Toten des Nationalsozialismus im vorderen Teil der Anlage.

Dort befinden sich auch die wiederhergestellten Grablagen als auch die Gedenksteine an die Opfer des dritten Reichs.

Im hinteren Teil des Friedhofs, dessen Zugang seitlich des Gedenksteines zu finden ist, befinden sich Gedenksteine für die sowjetischen Staatbürger:innen. Den Zugang zum Friedhof bildet ein geschmiedetes Tor, das schlicht und ohne den oft eingefügten Davidstern ausgeführt wurde.

Insgesamt macht die Anlage einen recht gepflegten Eindruck. Eine der letzten Bestattungen fand 2011 statt, als Alex Deutsch, ein Überlebender des Holocoust und Aufklärer dort zur ewigen Ruhe gebettet wurde.

Seit Kriegsende wurde der Friedhof zwei Mal geschändet, zuletzt im Jahr 2004.