Ідея створення музею в Сумському державному педагогічному інституті імені А.С. Макаренка з’явилась в кінці 1950-х років. Головою реалізації задуманої ідеї став тодішній завідувач відділом кадрів Олександр Савич Ганжа.
Спочатку в рекреації інституту було створено вітрину-фотостенд присвячену подіям та учасникам Другої світової війни. Разом були організовані постійно діючі виставки прикладного мистецтва викладачів та студентів.
23 лютого 1962 року на підставі рішення вченої ради інституту було оснащено та відкрито «Музей історії бойової та трудової слави». Колишні фронтовики, викладачі та студенти навчального закладу, передали різноманітні артефакти війни, чим заклали основу музейної експозиції. При музеї була створена рада та студентська група «Пошук».
У 1992 році «Музей історії бойової та трудової слави» було реорганізовано в «Музей історії університету».
Свого часу музей очолювали Олександр Савич Ганжа (1961-1990 рр.), Валентина Володимирівна Снагощенко (1990-1997, 2000-2008 рр.), Георгій Йосипович Семенець (1997-2000 рр.), Сергій Сергійович Дєнєжніков (2008-2014 рр.), Ярослав Миколайович Кущ (з 2014 р.)