Kan utleier ta seg inn i boligen (kollektiv)?

Hei, jeg leier et rom i et kollektiv for to personer i en kjeller, og øveretasjen leies av en småbarnsfamilie. Huseieren bor altså ikke i boligen men har nøkkel til ytterdøren, men ikke til mellomdøren fra kjelleren som ingen leier og hvor utleier pusser opp og inn til hybelen. Hybelen består av 2 soverom og fellesarealer som stue/kjøkken, bad og bod. Huseieren har flere ganger sakt at han kommer til hybelen, uten at vi har fått varsel om at han kommer, og døren til fra kjeller inn til hybel er låst, og at dette ikke er greit. Hvor går grensen for hvor huseieren har lov å ta seg inn i boligen uten å måtte melde ifra til oss som bor her? Det andre soverommet på hybelen har nå stått tomt, og husier mener siden det ikke er noen som leier der er det han selv som regnes som leieboer der, og dermed skal ha samme bruksrett som meg som leier her. Er dette sant?