大眾爺起源於清乾隆年間，當時移民臺灣者，有遭刀兵殺害、有死於天災瘟疫、或因族群械鬥死亡等橫死孤魂，因無人埋、無人奉祀，鄉民擔心孤魂野鬼造成地方不安，常在街頭巷尾、田間荒野，以飯菜祭拜。也有收集無主屍骨的大眾廟，奉祀的主神就被通稱為大眾爺。為了安頓「大眾爺」，臺灣昔日官府也曾經設壇建祠、祭奠無祀厲鬼。即使在民間，也有不少人家出錢出力，興建祠、堂，來收容這些厲鬼。這些祠廟，遍布全臺。
大眾爺分為文武兩種：文大眾爺指的是貧病路倒的屍骨，武大眾爺指的則是喪生於兵戎或械鬥的亡魂。演變至今，與大眾廟性質相同的小廟，包括有應公、百姓公、金斗公、萬善祠等，都是收集無主骨骸的廟。
被比喻為「陰間的警察局」，因此若有棘手難辦的案子，也會尋求大眾爺幫助。