Острогожская мужская гимназия открыта в 1879 году как 6-классная прогимназия с приготовительным классом. Одноэтажное здание гимназии построено в 1875-1879 годах, в 1885 году освящена домовая церковь во имя святого Александра Невского.

В 1899 прогимназия реорганизована в гимназию. Обучение было платным в сумме 40 рубей в год, бессословным. В 1916 году в гимназии было более 20 педагогов, действовало Общество вспомоществования нуждающимся ученикам.

Острогожскую мужскую гимназию окончили: Г.Н. Яковлев (1891), B.Ф. Переверзев (1902), А.Н. Татарчуков (1903), М.М. Мелентьев (1905), М.И. Сафонов (1909), Ф.Ф. Мацков (1915), С.М. Кривошеин (1918), учились А.Т. Бельченко, профессор П.С. Климентов, И.Д. Курбатов, экономист М.Я. Маршак, С.Я. Маршак, С.В. Михеев, В.В. Руднев, П.Н. Яковлев. Впечатления об учёбе в гимназии довольно полно отразил С.Я. Маршак в мемуарной книге «В начале жизни» (1960). В воспоминаниях М.М. Мелентьева в числе наиболее ярких педагогов назван В.И. Теплых (древние языки), М.И. Макаров, Р.А. Метт (иностранные языки). Почётный попечитель - Вас. Н. Тевяшов.

Директоры: Ю.В. Эсслингер (1883-1894), К.И. Турчаковский (1894-1897), В.А. Коноров (1898-1899), И.И. Цветков (1899- 1901), Н.П. Греков (с 1901 года). Инспектором гимназии служил И.В. Автократов (позднее - директор 1-й Воронежской гимназии), преподаватель - композитор М.Н. Плотников. Острогожская мужская гимназия закрыта в 1918 году.

В Государственном архиве Воронежской области имеется фонд Острогожской мужской гимназии (ф. И-79, 465 единиц хранения), в котором находятся личные дела учеников (алфавит А -С) и педагогов.

см.: С.Я. Маршак. Собрание сочинений. Том 6. (Москва, 1971).
Материалы Свода памятников <...> Острогожский район. (Москва, 1993).
М.М. Мелентьев. Мой час и мое время. (Санкт-Петербург, 2001).
Л.В. Кригер. «Острогожские Афины». (Воронеж, 2011).
Ю.В. Пыльнев. История народного образования Воронежского края (конец XVII - начало XX века). (Калининград, 2012).