"Was kann im schlimmsten Fall die Konsequenz sein?"
Sofern der Garten bzw. die Wiese einer anderen Partei vermietet wurde, könnte dieser Mieter Sie wegen Hausfriedensbruch anzeigen.
Wenn die Wiese einfach eine Grünfläche ist, die zum Haus gehört, kommt es auf die Hausordnung an. Wenn sowas nicht existiert und ihr Vermieter ja scheinbar auch jemand ist, dem alles egal ist, spräche eigentlich nichts dagegen, dass Sie die Grünfläche nutzen.