Hallo alphonse,
nachfolgend meine laienhafte Meinung: Du wirst verlieren.
"Mündlich einigten wir uns auch darauf, dass ich spätestens dann ausziehe, wenn ein Nachmieter gefunden wurde. Ende 04/09 erfolgte dann die Wohnungs- und Schlüsselübergabe (ohne einen Nachmieter gefunden zu haben)."
... welches nicht das Ende der Mietzahlungspflicht bedeutet.
"die Nebenkostenabrechnung müsse ja 12 Monate nach Auszug endlich eingetroffen sein."
Nein, sondern nach Beendigung des üblichen Abrechnungszeitraumes, i.d.R. 1.1.-31.12.
"Daraufhin antworte der Vermieter, dass er mir die Kaution nicht zurückzahlen wolle, da er die Wohnung erst 12/09 wieder vermieten konnte und ich dies bitte verstehen solle."
Finde ich korrekt. Für die sieben Monate 05-11 hat er also nur 800€ Gesamt"miete" bekommen.
"Auf meine folgenden Schreiben, wo ich mehrfach die Zahlung der offenen Kaution forderte, erfolgte keinerlei Reaktion."
Warum auch?
"In den Schreiben wies ich den Vermieter auf seine Pflicht zur Auszahlung der Kaution hin"
Genau: Er hat die Pflicht, die Kaution abzurechnen, mit bspw. Mietrückständen, Nebenkostennachforderungen.
"und drohte mit evt. rechtlichen Schritten. Da keine Reaktion erfolgte, erwirkte ich einen gerichtlichen Mahnbescheid, den der Vermieter in vollem Umfang widersprach."
Letzteres würde ich auch tun.
"Ich bin mir darüber bewusst, dass der Mietvertrag nicht schriftlich gekündigt wurde und damit die Kündigung nicht rechtswirksam ist."
Na - also...
"Der Vermieter besteht aber auch nicht auf eine Fortsetzung des Mietvertrages."
Das muss er auch nicht, da der nicht rechtswirksam gekündigte MV automatisch weiter gilt.
"Jedoch hat der Vermieter ja proaktiv dem Auszug zugestimmt und schon aktiv Nachmieter gesucht. Und wenn der Vermieter auf eine Fortführung des Mietverhältnisses bestanden hätte, so hätte er ja spätestens nach einen Monat die offenen Mietzahlungen beanstanden müssen. Da der Vermieter aber keine Einwendungen machte, gehe ich hier auch von einem negativen Schuldeingeständniss aus. Somit gehe ich von einer Beendigung des Mietverhältnisses aus und habe damit Anspruch auf die gezahlte Kaution."
Ich werde mich diesbzgl. nicht weiter dazu äussern, sondern Dir nur empfehlen, Dich anwaltlich beraten zu lassen. Sei froh, wenn der VM den Spiess nicht umdreht...