Er war Sohn von Heinrich I. und Heilwig von Bronckhorst. Nach dem Tod seines Vaters 1304 war er Graf von Holstein-Rendsburg, während sein Vetter Johann Holstein-Kiel regierte.
Gerhard spielte eine wichtige Rolle in der Innenpolitik Dänemarks, das sich seinerzeit in einer innenpolitisch schwierigen Lage befand. Er hatte einen Großteil des Landes unter seinen Einfluss bringen können, als Erik VI. Menved seinen Besitz verpfändete, um seine Kriege bezahlen zu können. 1326 gelang Gerhard, seinen kleinen Neffen Waldemar III. von Dänemark, den Sohn des Herzogs Erich II. von Schleswig, auf dem Königsthron zu installieren. Von ihm ließ er sich am 15. August 1326 als erster Schauenburger mit dem Herzogtum Schleswig belehnen. Damit befanden sich Schleswig und Holstein erstmals in einer Hand. Waldemar musste zusichern, dass das seit 1241 weitgehend eigenständige Herzogtum nicht mehr den gleichen Herrscher wie Dänemark haben sollte (constitutio valdemariana). Da Graf Gerhard Waldemars Vormund war, konnte er dies leicht durchsetzen. Als Waldemar 1330 den Königsthron verlor, übernahm er jedoch selbst die schleswigsche Herzogswürde.
Der Schauenburger Graf blieb eine der mächtigsten Persönlichkeiten in Dänemark und Schleswig. Nach dem Tod König Christophs 1332 übernahm er selbst die Regierung über Jütland und Fünen, während Johann den Rest behielt. Wachsende Opposition und Bauernaufstände führten zu anarchischen Zuständen. Der Adel, der ihn früher gegen Christoph II. unterstützt hatte, forderte nun den Thron für Christophs Sohn Waldemar. 1340 wurde er von einem dänischen Ritter, Niels Ebbesen, erschlagen. Seine Söhne verzichteten auf dänische Ansprüche und folgten ihm als Grafen von Holstein-Rendsburg.
Die Bezeichnungen der Große und der kahlköpfige Graf zeigen, wie unterschiedlich Gerhards geschichtliche Leistung in der deutschen und dänischen Geschichtsschreibung bewertet wurde. Im Zuge der nationalen Konflikte des 19. Jahrhunderts wurde Graf Gerhard auf schleswig-holsteinischer Seite als derjenige hervorgehoben, der Schleswig mit Holstein verband, was man als geradezu natürlichen Vorgang betrachtete. Für die nationale dänische Seite war er jedoch ein Schurke, der das Königreich in einer Krisenzeit weiter destabilisierte und sich eines Teils desselben bemächtigte.