also mit den Nachbarn wurde besprochen, dass sie nur mit meiner Erlaubnis in die Wohnung dürfen,
Dann solltest du mit deinen Nachbarn ein ernstes Wort reden. Evtl. auch den Schlüssel wieder einziehen. Unterm Strich würde ich denken das sie deine Vollmacht wohl etwas "überinterpretiert" haben.
Das das aber ein fristlose Kündigung rechtfertigt, sehe ich persönlich nicht kommen. Ist aber nur meine Meinung.