Mit dem Überfall auf Polen am 1. September 1939 wurde dem JG 2 die Luftverteidigung Berlins übertragen. Damit war das Geschwader beschäftigungslos - die Hauptstadt wurde nicht angegriffen. Die 1. Staffel flog zwischen dem 9. und 15. September 1939 von Ostpreußen aus einige Tiefangriffe gegen Straßen- und Eisenbahnziele.
Während des Sitzkriegs gegen Frankreich flog das Geschwader von Frankfurt-Rebstock aus Einsätze gegen Aufklärer, aber auch Begleitschutz für die eigenen. Am 22. November 1939 wurden dabei die ersten beiden Luftsiege erzielt, als Lt. Helmut Wick und Ofw. Erwin Kley bei Straßburg jeweils der Abschuss einer Curtiss Hawk gelang. Wick sollte später während der Luftschlacht um England das Geschwader als Kommodore führen.

Eine neue II. Gruppe des Geschwaders wurde im Dezember 1939 für einsatzbereit erklärt und zunächst zur Verteidigung von Industrieanlagen in Mitteldeutschland, ab März 1940 von Nordholz aus zur Küstenverteidigung eingesetzt. Im Februar 1940 war auch die neue III. Gruppe in Wien-Schwechat einsatzklar geworden und verlegte dann nach Magdeburg. Eine IV. Gruppe wurde aus der 10.(N)/JG 2 und Nachtstaffeln anderer Gruppen gebildet und ebenfalls an der Nordseeküste eingesetzt - mit Abordnungen allerdings auch im Binnenland. Einer von diesen gelang in der Nacht zum 21. April 1940 nahe Crailsheim der erste Nachtsieg der Luftwaffe. Die Gruppe wurde im Mai 1940 noch kurz in Norwegen eingesetzt, bevor sie dann ab Juni 1940 die II. Gruppe des neuen NJG 1 bildete.

In Vorbereitung des Blitzkriegs gegen Frankreich wurden die I. und III. Gruppe Anfang Mai 1940 nach Bassenheim bzw. Freschweiler verlegt. Die II. Gruppe, inzwischen in Münster, operierte zunächst als Teil des JG 26, während dem JG 2 noch die I./JG 76 unterstellt wurde.
Für die II. Gruppe begann der Krieg am 10. Mai 1940 mit Begleitschutzaufgaben für Bomber- und Luftlandeverbände über den Niederlanden. Sie folgte dann der Heeresgruppe B auf ihrem schnellen Vormarsch im Norden. Ähnlich die beiden anderen Gruppen, die die Heeresgruppe A auf ihrem Weg durch Luxemburg und Südbelgien bis zum Ärmelkanal unterstützte. Während der Evakuierung von Dünkirchen, am 26. Mai 1940, traf das Geschwader dabei erstmals auf Spitfires - später ihr Hauptgegner in der Luftschlacht um England.
Nach der Besetzung Frankreichs bezog das Geschwader Quartier in Beaumont-le-Roger, westlich von Paris, seine Heimat für die nächsten vier Jahre. Einige Staffeln waren aber auch ständig auf vorgeschobenen Basen an der Kanalküste stationiert.

Am 9. Juli 1940 startete das Geschwader mit Begleitschutzmissionen für Stuka-Angriffe in die Luftschlacht um England. Bis Anfang November 1940, dem Ende dieser Periode, bewährte sich, dass von Greim und seine Nachfolger der sorgfältigen Ausbildung ihrer Piloten so viel Bedeutung beigemessen hatten. Das JG 2 wurde zu dem Verband mit den meisten Abschüssen in der Luftschlacht um England - am 16. November 1940 wurde der insgesamt 500. Abschuss des Geschwaders erzielt - und das bei nur 36 eigenen Verlusten. Allerdings fiel am 28. November 1940 Kommodore Major Helmut Wick, mit 56 Abschüssen der bis dahin erfolgreichste deutsche Jagdflieger des Zweiten Weltkriegs.
Von Ende August 1940 bis Frühsommer 1941 zeigten die Nasen der Bf 109 des Geschwaders ihr charakteristisches Gelb.

Mit dem Ende der Luftschlacht um England begann die Rolle des Geschwaders als die "Wächter der Kanalküste". Diese Aufgabe teilte man sich mit dem JG 26 (Belgien und Nordost-Frankreich), während das JG 2 westlich der Seine und für die Atlantikküste zuständig war.
Im Frühjahr 1941 wurde das Geschwader mit den neuen Bf 109F ausgerüstet. Am 8. Juli 1941 wurde der 644. Abschuss erzielt und damit der Rekord des JG 1 aus dem Ersten Weltkrieg eingestellt. Am 17. April 1942 wurde eine Avro Lancaster, unterwegs zu einem Tagesangriff auf Augsburg, das 1000. Opfer des Geschwaders.
Im März 1942 wurde eine 10.(Jabo)/JG 2 aufgestellt, deren mit Bombenaufhängungen ausgerüstete Bf 109F Tiefflugangriffe gegen Küsteneinrichtungen und Schiffe im Kanal durchführten. Etwa gleichzeitig erhielt das Geschwader seine ersten Focke-Wulf Fw 190A. Schon Mitte Mai 1942 folgten die ersten Bf 109G. Mit der G-1 wurde die 11./JG 2 als spezielle Höhenstaffel neu aufgestellt.

Im November 1942 wandte die III. Gruppe erstmals eine neue und sehr erfolgreiche Taktik gegen die amerikanischen Bomber an - den Frontalangriff gegen die bis dahin nach vorne noch recht schwach verteidigten "Fliegenden Festungen". Der charakteristische Kinnturm der B-17 erschien als Antwort darauf erst in späteren Versionen.
Die II. Gruppe verlegte derweil nach Tunesien, um Rommels Afrika-Korps zu unterstützen. Dieses Gastspiel währte bis Mitte März 1943. Die Bf 109G der 11. Staffel, die ebenfalls nach Tunesien verlegt hatten, wurden dagegen in die II./JG 53 eingegliedert und blieben noch in Afrika.
Im Frühjahr und Sommer 1943 erhielt das Geschwader weitere Bf 109G. Dennoch nahmen mit dem Wiedererstarken der RAF auch die Verluste des Geschwaders zu, insbesondere seit dem Kriegseintritt der USA. Im Herbst 1943 wurde das Geschwader daher, wie auch weitere, mit einer vierten Staffel in jeder Gruppe verstärkt.

Dies brachte jedoch nicht den erhofften Effekt, zumal zur Jahreswende 1943/44 ein neuer Gegner auf den Plan trat: Die North American P-51 der US Army Air Force. Jetzt wurde die Luftwaffe insgesamt und damit auch das JG 2 immer mehr in die Defensive gedrängt. Dazu kam, dass in Vorbereitung der geplanten alliierten Invasion die Flugplätze der Luftwaffe in Frankreich immer wieder bombardiert wurden. Die Flugzeuge des Geschwaders mussten daher weiter ins Landesinnere zurückgezogen werden. Da die Alliierten aber auch an anderen Fronten weiter die Oberhand gewannen, wurde die I. Gruppe Ende Januar 1944 nach Aix-en-Provence und weiter nach Mittelitalien verlegt. Im April 1944 kehrte die Gruppe zurück an die Kanalfront.
Am 6./7. Juni 1944 (D-Day) griffen Flugzeuge des Geschwaders die Invasionsflotte und gelandete Truppen mit Raketen sowie Bordwaffen an.
Aber unter der nun drückenden Luftüberlegenheit der Alliierten musste sich das Geschwader im August 1944 aus Frankreich zurückziehen. Wieder in der Nähe von Frankfurt/Main, fand man sich zunehmend in der Reichsverteidigung wieder. Die II. Gruppe erhielt neue Bf 109K, während die III. Gruppe auf die Fw 190D-9 umrüstete.

Die "Operation Bodenplatte" am 1. Januar 1945 wurde der Anfang vom Ende des JG 2. Bei den Angriffen auf alliierte Flugplätze in Belgien verlor man selbst 37 Piloten (gefallen, vermisst oder verwundet). Davon sollte sich das Geschwader nicht mehr erholen.
Inzwischen komplett mit "Doras" ausgerüstet, wurden die Reste des JG 2 in den letzten Kriegswochen noch über Bayern nach Böhmen verlegt. Um aber nicht den vorrückenden Sowjets in die Hände zu fallen, führte Kommodore Bühligen die verbliebenen 12 Fw 190 eigenmächtig nach Straubing, wo sie beim Eintreffen der Amerikaner verbrannt wurden.
 
Damit endet die 11-jährige Geschichte eines der bekanntesten und erfolgreichsten Jagdgeschwaders der Luftwaffe. In den sechs Kriegsjahren wurde es an fast allen Fronten eingesetzt. Dabei konnten über 2700 Luftsiege verbucht werden. Demgegenüber fielen 767 Piloten und 24 Angehörige des Bodenpersonals.