Masyarakat luar mengenal kelompok masyarakat ini dengan sebutan "Orang Baduy", namun bagi mereka sendiri sebutan ini sesungguhnya kurang disukai, mereka lebih senang menyebut dirinya "Orang Kanekes" sesuai nama desa tempat mereka bermukim. Orang Baduy Dalam atau Baduy Kejeroan yang terdiri dari 3 kampung disebut juga "Urang Tangtu Tilu". Mereka juga kadang-kadang disebut Urang Girang, artinya "Orang Hulu" atau "Urang Rawayan" karena berdiam di sungai Cirawayan.
Seperti lazimnya setiap kelompok masyarakat, masyarakat Baduy pun terstruktur ke dalam tatanan masyarakat yang berlapis. Struktur masyarakat dibagi ke dalam 3 strata sosial yang didasarkan pada status wilayah kemandalaan (kesucian/keaslian). Ketiga wilayah itu adalah kemandalaan yang berbeda. Semakin luar atau semakin jauh dari daerah kemandalaan, semakin longgar adat istiadatnya. Adapun yang menjadi pusat kemandalaan adalah sebuah hutan larangan dimana terdapat Arca Domas.