Jetzt zu meiner Frage: Kann der Vermieter uns wirklich zwingen in die Wohnung einzuziehen bzw. habe ich irgendwas zu befürchten?
Nein und nein.
Da ja vereinbart war, einen schriftlichen Mietvertrag abzuschließen, ist die Wohnung erst mit Abschluss desselbigen von euch angemietet. Auf keinen Fall aufgrund der mündlichen Zusage.