Am 13. April 1889 wird die "Rheinische Metallwaaren- und Maschinenfabrik Aktiengesellschaft" durch den Hoerder Bergwerks- und Hüttenverein gegründet. Damit konnte Munition an das Deutsche Kaiserreich geliefert werden. Im selben Jahr wird in Düsseldorf-Derendorf ein Werk errichtet. In der Lüneburger Heide richtet die Firma einen Schießplatz ein zur Vorführung der Waffen. Nach dem ersten Weltkrieg musste 1919 durch die Bestimmungen des Versailler Vertrages die Produktion auf zivile Güter umgestellt werden. Es wurden Lokomotiven, Dampfpflüge und Büromaschinen hergestellt. Doch bereits 1921 darf die militärische Produktion wiederaufgenommen werden.

Bis 1933 übernimmt Rheinmetall Fabriken in Sömmerda und Berlin für weitere Rüstungsproduktionsstätten. 1936 fusionieren Rheinmetall und Borsig zur Rheinmetall-Borsig AG, 1938 wird der Sitz von Düsseldorf nach Berlin verlegt. Im zweiten Weltkrieg wird die Produktion durch den "Beauftragten für den Vierjahresplan" kontrolliert. Zwischen 1940 und 1945 werden deutsche und ausländische Zwangsarbeiter in den Fabriken der Firma eingesetzt.

Nach dem Krieg wurde die Rüstungsproduktion untersagt und auf zivile Produkte umgestellt, die in Düsseldorf gestartet wurde. 1956 übernimmt die Röchling-Gruppe die Rheinmetall-Borsig AG, die Firma wird in Rheinmetall Berlin AG umbenannt. Im gleichen Jahr fängt die Produktion von Rüstungsprodukten an. Erstes Produkt: die MG 42. Rheinmetall diversifiziert in den 1950er Jahren in den Maschinenbau und Elektronik. Über die nächsten Jahrzehnte entwickelt die Firma weitere Waffensysteme und liefert zum Beispiel Kampfpanzer des Typs Leopard an die Bundeswehr.

In den 1980er Jahren wird das Werk in Düsseldorf sukzessive aufgegeben. 1996 streicht man Berlin aus dem Firmennamen, der neue Name ist nun Rheinmetall AG. Hauptsitz der Firma ist Düsseldorf. Die Firma übernimmt Hersteller von Elektromotoren, Bürosysteme, Rüstung und anderer Produkte, um das Portfolio weiter zu diversifizieren.

Im Jahr 2000 übernimmt der neue Geschäftsführer Klaus Eberhardt die Führung.

Daraufhin konzentriert sich Rheinmetall stärker auf die Kernkompetenzen Wehrtechnik, Automobiltechnik und Elektronik. 2004 veräußert der Mehrheitseigner Röchling Industrieverwaltung GmbH seine Aktien. Rund 75 institutionelle Investoren übernehmen die Anteile.