祭神は藤原鎌足です。社号は多武峰で中大兄皇子と大化改新の談合を行い、談山（かたらいのやま）と呼んだことに由来します。678年（天武天皇7年）に鎌足の子・定慧（じょうえ）が父の遺骸を阿威山より改葬し、十三重塔を造立したのが起源といわれています。701年（大宝元年）に聖霊院（現在の本殿）が創建され、鎌足像が安置されました。
木造十三重塔（重要文化財）は1532年（享禄5年）に再建されたもので、日本唯一のものです。漆塗極彩色・三間社春日造の本殿（重要文化財）は、1850年（嘉永3年）に再建され、日光東照宮造営の手本になったといわれています。その他社殿建造物の大半が重要文化財に指定されています。715年（和銅8年）の銘がある粟原寺三重塔伏鉢は国宝、絹本著色大威徳明王像や刀剣類6振などは重要文化財に指定されています。桜、アジサイ、紅葉の名所としても知られています。