Ансамбль имения начал создаваться в 1760 году, когда жена Вилякского бургомистра Констанция Хильзен создала у Балвского озера фольварк (так в Речи Посполитой называлось помещичье хозяйство).
Когда после раздела Польши в 1772 году Латгалию присоединили к Российской Империи, поместье Балви попало в состав земель короны. Императрица Екатерина II пожаловала имение своему советнику Ивану Перфильевичу Елагину. После его смерти в 1794 году вся его недвижимость перешла по наследству к дочери Александре, в замужестве Бутурлиной. Ее муж в 1806 году продал имение семье Горожинских, владевшим Балви до 1876 года. Поместье еще несколько раз меняло хозяев: им владели Транзе и Тработты, а последней владелицей с 1911 по 1920 гг. была Анна Щербатова.
Главное здание в первом варианте построили во второй половине XVIII века, но через сто лет перестроили в стиле неоклассицизма. Усадебный дом дважды горел: в 1920 и 1944 годах. С 1930 года в нем располагалась гимназия, в советское время здание приспособили для нужд школы. Послепожарные перестройки лишили усадебный дом портика с колоннами и круговой лестницы заднего фасада.
Любопытно, что точные измерения габаритов господского дома Балвской усадьбы показывают несовпадение внешних и внутренних контуров. Есть предположение, что где-то находится тайная комната, хитроумно скрытая при строительстве здания. Несмотря на то, что здание не раз горело и реконструировалось, тайника до сих пор так никто и не нашел.
На территории части усадебного парка в начале 1990-х годов был создан городской парк с 23 валунными композициями ("Латвийский Стоунхендж"). Там сохранился большой сарай-клеть в стиле ампир. Это здание в 2004 году было приспособлено для размещения экспозиции www.muzejs.balvi.lvМузея Балви.
