Sebelum dibangun Benteng Vredeburg pada lokasinya sekarang, pada tahun 1760 Belanda membangun Benteng yang bersifat sangat sederhana, bernama : Benteng Rustenburg (Benteng untuk 'mengaso' atau Benteng peristirahatan). Benteng yang semula bernama Rdstenburg tersebut, diusulkan oleh Belanda kepada Sultan untuk disempurnakan, dengan dalih agar lebih dapat menjamin keamanan pemerintahan Sultan, dan sawaktu-waktu dapat memberikan bantuan pertahanan yang sempurna.