Gravo soll etwa Vorsteher, Befehlshaber oder Rechtshüter bedeuten. Obwohl bereits 1194 das Schottenkloster Eichstätt (jetzt Kapuzinerkloster) in Grafenberg Besitzungen hatte und 1280 das Kloster Prüfening {bei Regensburg) einen Hof dort erwarb, wird seine erste urkundliche Nennung auf 1305 datiert. 1480 gehörte der Ort als Filiale zur Urpfarrei Emsing. Die 1394 erbaute und 1752 erweiterte Kirche St. Bartholomäus bietet sich heute barock dar. Der Friedhof war einst befestigt. Noch heute ist eine ca. fünf Meter hohe Mauer vorhanden, deren Schießscharten zugemauert sind, deren Wehrgang aber erhalten ist. Das gotische Tor zeigt noch einen Spitzbogen. Ähnliche Wehranlagen finden sich in der Umgebung. 1883 stiftete der ortsansässige Gastwirt Alois Schweiger eine Marienstatue aus Oberammergau für eine Nische der Friedhofsmauer. Der 30jährige Krieg setzte mit seinen Greueln auch Grafenberg zu. Es wird von mehreren Morden durch schwedische Soldateska berichtet. Zu Beginn des Krieges hatte Grafenberg 22 Häuser gezählt.
Einwohner (11.12.2023): 120