Em fevereiro de 1995, Sully Erna decidiu começar uma banda como o vocalista após ter tocado bateria por mais de 23 anos, incluindo dois anos na agora defunta banda Strip Mind. A banda, de nome The Scam, foi formada por Erna como vocalista, Robbie Merrill no baixo, Lee Richards como o guitarrista e Tommy Stewart na bateria. The Scam logo mudou o seu nome para "Godsmack", após ter gravado uma demo. A banda recém-formada começou a tocar em pequenos bares em suas terras-natal de Lawrence, Massachusetts, e Salem, New Hampshire. Godsmack começou a fazer covers de bandas como Alice in Chains para atrair fãs, mas logo começaram a compor as suas próprias músicas. Músicas como "Keep Away" e "Whatever" rapidamente ficaram populares e levou a banda para o topo das paradas musicais na área de Boston/New England. O nome da banda, segundo o baixista Merrill no DVD Smack This!, tem como origem a música "God Smack", de Alice in Chains. Contudo, em uma entrevista de 1999, Erna afirmou:
"Eu estava tirando sarro de alguém que estava com herpes nos lábios e no dia seguinte eu tive também e alguém disse, 'É um godsmack'.[do inglês, "beijo de deus"] O nome ficou na minha cabeça. Nós sabíamos da música de Alice in Chains mas não pensamos muito nela. É uma boa música e o nome tinha significado para nós."