Für das hohe Alter Affings und eine frühzeitliche Ansiedlung in der Römerzeit sprechen die Funde von Kupfermünzen aus der Zeit von Kaiser Tiberius und Trajan im Schloßgarten und die geöffneten Grabhügel mit Grabbeigaben, die im Mandlingholz um 1819 entdeckt wurden.
Die Ritter-, Hofmarks- und Herrschaftsgeschichte ist nachgewiesen seit 1040, als "Perenhart de Affingin bei einer Schenkung unter acht Zeugen im Kloster Ebersberg anwesend war".
Ihm folgten um 1090 Ulrich von Affingen, um 1126 seine Söhne Udalschalk und Giselher. Um 1150 erscheinen Otto von Affing, Burkart von Affingen und 1350 Eberhart von Affingen.
Im 14. Jahrhundert bildete sich Affing zu einer Hofmark aus (Einheit von Grund-, Gerichts-, Finanz,- und politischer Herrschaft). Unter den Lehensbesitzern erscheint 1425 ein Engelhart von Oberndorf. Er erhielt zu Lehen die Veste und den Burgstall Affing. Dessen Tochter Amalie ehelichte in Affing Wolfgang Waldecker um 1470. Weitere Lehensübernahmen folgten: 1506 durch Walter von Gumppenberg: 1552 wurde die Hofmark an Seifried von Zillenhart verkauft.
Am 2. Oktober 1621 verkaufte sie ein Waldecker für 32000 Gulden an Georg Friedrich von Stauding. Von dessen Söhnen Georg Friedrich und Stefan wurde das im Dreißigjährigen Krieg zerstörte Schloß mit dem Mayerhofe vom Kurfürstlichen Vizekanzler zu München, Johann Bapt. Freiherrn von Leyden, 1682 gekauft, und dieser ließ bis 1689 das Schloß, den Pfarrhof, den Iglhof im Ortsteil Iglbach und die Kirche neu aufbauen.
1816 verkaufte Graf Maximilian Anton von Leyden die Hofmark Affing an Karl Ernst von Gravenreuth, Regierungspräsident zu Augsburg.