Konon kabarnya dahulu kala ada seorang bernama Kyai Bramasari salah satu murid atau santri keturunan wali sanga dari sebuah padepokan/pondok yang berada di desa Wanabadra Kabupaten Batang Jawa Tengah, sekitar pada abad ke 18an beliau mengembara dan singgah di Karangsari selain beliau ahli dibidang agama juga mahir dibidang pertanian sehingga pada saat berdakwah menyebarkan agama islam beliau juga senang bercocok tanam karena di wilayah Desa Karangsari pada saat itu banyak tumbuh subur berupa tanaman karang kitri atau tanaman yang bersari dan buah-buahan manis sehingga dinamakan Desa Karangsari