古くから、牛山には大社があり、たいへんな賑わいをみせていたと伝えられています。この大社が どこにあったのか定かではありませんが、延喜５年（927年）、醍醐天皇の命によって編集された「延喜式」の式内社である片山神社が牛山に在ったと伝えられている大社ではないかと思われます。しかし、片山神社は延喜式での位置付けは小社となっています。

【現在の牛山天神社】

　延喜式５０巻は９０５年に編纂が開始された律令や格の細則です。神名帳は巻９、１０にあり、天皇の名で行う祈年祭である豊作祈願の行事の際、供物を下賜する３１３２座の神々の一覧です。伊勢神宮を頂点として官幣社（名神大社、大社、小社）、国幣社（大社、小社）と神々を序列体系化しています。選定に当たっては、おそらく地方氏族の猛烈な運動があったのでしょうが、選定には大和朝廷の発展の歴史段階にも関わっている地域の神社が優先されていると見ることができます。
　また、片山神社は本国神名帳にも、従三位片山天神としてその名前が記されています。片山の地名について、本国神名帳集説には片山は牛山の誤字であると説明されており、尾張地名考では、この点についての諸説を紹介していますが、片山が牛山に転訛したというのは大体妥当な見解であって、天保２年（1841年）に作られた江戸末期の牛山村絵図にも片山神社の名が記されており、明治時代にも牛山村が片山村と呼ばれた一時期がありました。
　元亀年間（1570年頃）、この神社の守護人に玄殿と言う人がいましたが、小牧・長久手の合戦（1584年）の折り秀吉に放火され、社蔵の縁起書等や玄殿の家屋も焼失、彼の子孫のことも一切不明になってしまったと伝えられています。
　残されている棟札によると、元八幡社が元文２年（1737）に、天神社・元神明社・元愛宕社・元白山社が宝歴５年（1756）に再建されました。また、明治４４年（1911）に、気正田にあった八幡社・神明社と境内社、常光寺にあった白山社と境内社、愛宕山にあった愛宕社と境内社が片山神社に合祀され、昭和２８年１１月１８日宗教法人天神社として登記され、昭和４４には、境内の整備・神殿の改築が行われました。
　推測の域を出ませんが、焼失した片山神社は、その後もいろいろな形で村人に引き継がれ村の守護神として守られてきたのではないでしょうか。
　また、慶長元年（1596年）に雲紹侃和尚によって開山された慶林庵（現在の金牛山麟慶寺）は廃寺となっていた三台寺を再興したもので、この三台寺も小牧・長久手の合戦の折に焼かれ廃寺となっていたことも推測できます。片山天神の記録や三台寺の大日如来像（鎌倉時代作）から察するに、これらの寺社の創建は平安時代初期にまで溯ることができます。