На Литейном проспекте, на месте нынешнего дома № 4, в XIX веке находился Старый арсенал (пушечный двор). В 1865 году он был отдан в распоряжение Судебной палаты и Окружного суда. Здесь проходили знаменитые политические процессы Петербурга. Рядом, на улице Шпалерной 25, располагался дом предварительного заключения. В 1917 году, во время революции, восставшие разгромили здание Окружного суда, а позже, в 30-е годы, была взорвана Сергиевская Всей Артиллерии церковь, которая была построена в конце XVIII века в честь Сергия Радонежского (её также называли «Артиллерийской»).
На месте окружного суда по инициативе С.М. Кирова в начале 30-х годов XX века были выстроены два административных здания, которые соединялись между собой общими переходами и коридорами. По проекту архитекторов Н.А. Троцкого, А.А. Оль, А.И. Гегелло и других был выстроен дом № 4. В свою очередь под руководством известного архитектора И.Ф. Беспалова был возведен дом № 6. Оба дома были выстроены в стиле конструктивизма.
Хотя здания и выходят на три улицы (Шпалерную улицу, Литейный проспект и улицу Чайковского), монументальные и величественные сооружения стали архитектурными доминантами именно Литейного проспекта. Первый этаж дома № 4, главный фасад которого обращен к проспекту, облицован красным гранитом, остекленными поверхностями украшены угловые башни. Отличительной чертой здания является великолепная отделка и высокое качество оформления фасадов и интерьеров. Наземная часть дома достигает восьми этажей, на каждом из которых имеется маленький холл, с двумя округлыми столбами. Будучи облицованы черным мрамором, столбы подчеркивают благородность строения.
Вдоль длинного коридора расположены отделанные дубом кабинеты. В здании имеется также библиотека, столовая, спортивный зал, зал заседаний и другие помещения. На седьмом и восьмом этажах находится «красный» зал заседаний. В нём имеется сцена и огражденный серым мрамором балкон. Оконные проемы располагаются от потолка до пола и выполнены из матового стекла узкими вертикальными полосками. В 1932 году за сценой, на стене, был установлен барельеф В.И. Ленина. В этом же году в зданиях развернулось управление НКВД, а чуть позже и управление КГБ. В народе эти здания именовались как – «Большой дом» и были знаком беды, символом террора и беззакония, так как во времена репрессий через этот дом прошли тысячи осужденных ленинградцев.