Har utleier krav på depositumet når jeg flyttet ut pga. veps og mugg?

Hei, Jeg flyttet inn i en leilighet som hadde mugg i vinduskarmen på kjøkkenet, muligens i baderomsventilen og hadde mistanker om at det kanskje fantes andre plasser ettersom jeg fikk litt pustevansker siden jeg har allergi. I tillegg bodde det veps rett ovenfor vinduet mitt, og de kom flere ganger inn i leiligheten selv om jeg hadde lukket vinduene, og jeg voknet til veps som fløy rundt i leiligheten min. Jeg er redd vepps siden jeg er allerisk mot mange ting. Jeg klaget om dette til huseier, og han forsøkte å bli kvitt vepsen men fikk det ikke til, og jeg ble plaget av det i 1 mnd til jeg ikke klarte å bo der lengre og måtte flytte ut. Jeg forklarte til han at jeg måtte flytte så tidlig av helsemessige årsaker og han sa det var greit. Men nå krever han å beholde depositumet(som ble overført til hans private bankkonto) som han mener skal dekke husleien for 2 måneders oppsigelse. Siden jeg måtte flytte ut grunnet mugg og vepps, er det noen måte jeg kan kreve å få de pengene tilbake?