Ja, Caster, vor allem Magier (Wunder sind meistens nicht so stark), werden gerne als Easy Mode bezeichnet. Kann man drüber diskutieren, ob das wirklich so ist. Am Ende steht der Spaß im Vordergrund.
Man kann zwar schön Abstand halten und Gegner abschießen, aber gerade in Elden Ring reagieren viele Gegner und vor allem humanoide Bosse aufs casten und springen ihrerseits gerne zur Seite um auszuweichen. Stichwort Input-Reading

Das gab es in Fromsoft Spielen schon immer, wird aber in Elden Ring wirklich auf die Spitze getrieben. Ich weiß nicht, ob du den ersten Boss in der großen Burg in Limgrave schon gefunden hast, aber der ist einer der ganz extrem auf deine Inputs reagiert, vor allem aufs heilen.
Nahkampf zwingt dich halt dich mit den Feinheiten des Kampfsystems auseinanderzusetzen. Rechtzeitig rollen/springen, blocken, kontern, parieren. Je nach gewählter Waffe muss man auch schonmal auf ein passendes Opening zum angreifen warten. Das sind alles Sachen die man mit einem Spell-only build ein Stück weit vernachlässigen kann.
Wer allerdings Magie als Easy Mode bezeichnet, vergisst dabei gerne wie OP auch Melee Builds sein können. Dual Wielding mit großen Waffen ist kein bisschen schwerer und kann auch viele Bosse sehr leicht auseinandernehmen mit extremem Schaden und Stancebreaking. Dazu kann man auch tolle Status Builds spielen und Gegner mit Frost, Bleeding oder Scharlach ordentlich zusetzen, was mit Magie halt nicht wirklich geht.