Будучи на должности руководителя оркестра у князей Эстерхази, 2 мая 1766 года Йозеф Гайдн купил в собственность дом на Klostergasse № 82 (сегодня Joseph Haydngasse № 21), где он и его жена Мария Анна Тереза прожили двенадцать с половиной лет. За пять лет до покупки, почти точно день-в-день, Гайдн был принят на работу в качестве вице-директора оркестра, подписав контракт 1 мая 1761. В течение этих пяти лет он вместе с женой снимал квартиру. 3 мая 1766 года умер руководитель оркестра Грегор Джозеф Вернер, и Гайдн занял его место.
Поскольку контракт Гайдна предписывал, что он должен воздерживаться от какой-либо фамильярности и сближения с музыкантами, особенно за столом, чтобы не потерять их уважения, он решил, что настал час для покупки собственного жилья. Собственно, это и произошло.
Земельный регистр Айзенштадта 1758 года четко указывает на то, что дом, который был куплен Гайдном, состоял из двух квартир, по одной на каждом этаже. Верхний этаж, который и принадлежал первоначально композитору, состоял из пяти комнат, включая гостиную. Первый этаж удалось заселить только после смерти предыдущего владельца в 1767 году.
Дом горел в 1768 году и 1776 году, но каждый раз его восстанавливали. Сохранившиеся книги, в которых записан ущерб от пожаров (сгоревшая мебель, попорченные конструкции) дают подробное представление о внутреннем обустройстве дома.
На арке входа в погреб выгравирован 1747 год. Но этот год указывает не на дату строительства здания, а на дату окончания последнего восстановления перед приобретением его Гайдном. Дом был построен ориентировочно в 16-м веке, что прослеживается в линиях окон, сделанных в стиле поздней готики. Соседние дома были заселены в основном чиновниками и ремесленниками.
В 1762 году князь Миклош Иосиф Эстерхази решил восстановить свой охотничий замок на южном берегу озера Нойзидлер и переселиться туда на постоянной основе. В 1768 году было закончено строительство оперного театра и жилые помещения для музыкантов. Из-за оперного сезона 1776 года, который продолжался с февраля по ноябрь, центр музыкальной жизни сместился в замок и Гайдн был вынужден переехать туда. В результате он никогда больше не возвращался в дом на Klostergasse № 82.
Согласно договора купли-продажи от 27 октября 1778 года Гайдн продал дом и прилегающий земельный участок за 200 гульденов бухгалтеру Anton Lichtscheidl. С этой даты и до 1790 года главной резиденцией композитора был дом музыкантов в замке Эстерхазов.
