Į Alytuje Taikos gatvėje esantį raudoną mūriuką A. Matutis su šeima įsikėlė 1961 metais. Ką tik pastatytas dviejų aukštų nuosavas namas suteikė daug džiaugsmo. Džiugino ir kambarių erdvė, ir didelis daržas, ir pušynas kitoje gatvės pusėje, ir nuostabi Taikos gatvės ramybė. Čia nesigirdėjo miesto triukšmo, čia ošė pušys. A. Matutis pasirinko patį šviesiausią kambarį antrame aukšte su vaizdu į mišką, kad atsidaręs langą galėtų klausytis paukštelių čiauškėjimo. Čia jis ruošdavosi pamokoms, čia džiaugdavosi kiekvienos naujos knygos leidimu, į čia sugrįždavo po kiekvienos ilgos kelionės. Nenuilstančio šeimininko kvietimu čia svečiavosi daugybė rašytojų, vertėjų, dailininkų, literatūros kritikų ne tik iš Lietuvos, bet iš Rusijos, Lenkijos, Ukrainos. Poetas palaikė ryšius su daugybe žmonių, todėl jo išsaugoti laiškai (apie 700) – neįkainojama vertybė.

1987 m. sausio 7 dieną „Vyturio“ leidyklos vyr. red. pavaduotojas J. Linkevičius, LTSR rašytojų sąjungos konsultantas R. Gudaitis ir LTSR literatūros muziejaus skyriaus vedėja A. Ruseckaitė peržiūrėjo A. Matučio archyvinį ir memorialinį palikimą, jį suregistravo.Alytaus miesto Liaudies deputatų tarybos Vykdomasis komitetas 1988 metų sausį gavo leidimą rašytojo name Alytuje Taikos g. 8 steigti muziejų. Netrukus ir gatvei buvo suteiktas A. Matučio vardas, o 1989 metais savo veiklą pradėjo A. Matučio vaikų literatūros muziejus. Visas 1987 m. suregistruotas rašytojo palikimas buvo perduotas muziejui. Tuomet jis buvo pavaldus Maironio lietuvių literatūros muziejui, o 1991 metų sausį, remiantis LR kultūros ir švietimo ministro 1990-11-21 įsakymu Nr. 374, A. Matučio vaikų literatūros muziejus kartu su visais eksponatais, inventoriumi, pagrindinėmis priemonėmis perduotas Alytaus kraštotyros muziejaus žinion. Vėliau pervadintas Anzelmo Matučio memorialiniu muziejumi.