У 80-і роки XIX століття навпроти будівлі повітового земства, яке знаходилося на розі вулиць Єленський (нині Івана Мазепи) і Малої Міщанській (нині Коцюбинського), з боку Соборній площі був облаштований Земської сквер. Серед заходів, проведених для поліпшення благоустрою Кременчука в період з 1872 по 1885 роки, зазначено про створення цього скверу. Про точну дату заснування документів не знайдено. Встановити її можна приблизно, за допомогою непрямих відомостей. У приватній колекції В.В.Антіпова збереглися фото і поштові листівки з видами дореволюційного Кременчука. На фото з альбому «Кременчук: Повінь 1877 року» із зображенням Соборній площі та будівлі Земства по вулиці Єленський сквер відсутня. На поштовій листівці «Повітовий з’їзд. Уклін з Кременчука »Видавництво Книжковий магазин Амчіславского і Блюма, Кременчук №26. 1901 роки, видно частину скверу з дерев’яною огорожею, кущами і деревом, вік яких не старше 15 років. Швидше за все, сквер був закладений в останній рік звітного періоду – в 1885 році.
Сквер мав прямокутну конфігурацію з алеями по периметру і діагональні алея, яка з’єднувала два входи. Один вхід знаходився на початку вулиці Єленський (зараз двір готелю «Кремінь»), інший – з боку Соборній площі, між одноповерховим будинком гауптвахти і провулком, який проходив за сквером паралельно вулиці Київській (сучасна вулиця Перемоги). Згодом, коли дерева піднялися, білий будинок гаупвахте буквально потопав у зелені, що добре видно на поштовій листівці початку XX століття «Кременчук. Північна частина міста ». Цей сквер існував досить довго. Серед дерев переважала робиния звичайна. Правда, радянська влада в революційному запалі перейменувань, не обійшла стороною і цей об’єкт, давши йому назву «Сквер деревонасадженнями». У 50 – ті роки XX століття сквер продовжили до вулиці Богдана Хмельницького (сучасна вулиця Перемоги), прибравши одну з будівель СШ №9 – колишній одноповерховий церковний будинок, який знаходив тут свого часу.
Сквером, як і іншими зеленими насадженнями міста, активно дбали під час суботників. Про це свідчить замітка в міській газеті Кременчука в 1967 році, яка повідомляла, що працівники швейної фабрики під час суботника підрізали і обкопали дерева, вивезли сміття, облагородили три клумби. За спогадами кременчужанки І.О.Куварзіной, посеред Біржового скверу, який був дуже милий і затишний, звертала увагу на себе кругла клумба з алеєю навколо неї. З 1975 року на місці Біржового скверу в Кременчуці з’явився готель «Кремінь».
Джерело: Книга «Смарагдовi шати Кременчука: iсторія мiста в парках i скверах» 2016 рік