Sejak dari masa lampau di Sumatera Utara telah terdapat benih-benih pendidikan yang tumbuh dalam masyarakat. Pendidikan pada masa lampau sebelum adanya pengaruh Hindu merupakan pendidikan yang dilakukan oleh tokoh dalam masyarakat kepada anggota masyarakat agar anggotanya dapat hidup dalam masyarakat dengan mengenal norma - norma yang ada dalam masyarakat seperti adat istiadat. Untuk itulah anggota masyarakat sejak masih anak-anak mendapat pendidikan dari seorang yang mengetahui tentang adat itu misalnya dari datu, pawang dan sebagainya. Mereka inilah umumnya dianggap orang yang terkemuka dalam masyarakat. Karena itu tidak mengherankan kalau tokoh tersebut di atas itu juga menjabat kedudukan penting dalam organisasi pemerintahan.
Kedatangan agama Hindu dan Islam ke Sumatera Utara tidaklah merombak sistem pendidikan tradisional malahan memperkaya dan menambahnya sehingga membentuk suatu ciri pendidikan Indonesia sebelum masuknya pengaruh Barat. Sebagai contoh guru sebagai seorang yang dianggap sesepuh masyarakat dan mendapat kedudukan sendiri dalam masyarakat Indonesia.
Kedatangan bangsa Eropa ke Sumatera Utara yang terjadi pada awal abad ke 19 melahirkan suatu perubahan dalam pendidikan tradisional. Kedatangan bangsa Eropa melahirkan suatu sistem pendidikan Barat di Sumatera Utara. Pemasukan sistem pendidikan Barat itu mula-mula bertujuan untuk kepentingan bangsa Eropa sendiri yaitu penjajahan. Walaupun demikian pendidikan Barat itu pulalah nantinya menjadikan suatu benih bagi lahirnya perasaan kebangsaan di Sumatera Utara.