Bundan yedi yıl sonra, kardeşi David doğdu. Joyce Dahmer'ın bu ilk oğluna olan hamileliğinin zor bir süreç olduğu bilinmektedir. Dahmer sekiz yaşına bastığında, aile, Bath, Ohio'ya taşındı. Dahmer'ın ilk çocukluk dönemi davranışları normal olsa da, belli bir süre sonra, özellikle 10-15 yaş arasındaki dönemden başlayarak çekingen ve iletişimsiz bir kişiliğe büründü.
Bunun yanında hiçbir hobiye veya sosyal aktiviteye yönelmediği bilinmektedir. Bu süreçte sıkça yalnız başına bisikletiyle evin çevresinde dolaşan Dahmer, bulduğu ölü hayvanları eve getirerek veya yakınlardaki ormanlara götürerek kesmekte, sonra da incelemekteydi. Bir keresinde ölü bir köpeğin kafasını bir kazığa çakıp bahçeye dikti. Dahmer, liseden mezun olduğu sıralarda alkol almaya başladı ve kısa süre sonra da alkolik durumuna geldi.
1977'de Lionel ve Joyce Dahmer boşandı. Jeffrey'se Ohio State Üniversitesi'ne girdi, ancak bir dönem boyunca çoğu derslerine katılmadığı için, buradan atıldı. Bu yıllarda sıklıkla alkol almaktaydı. Dahmer'ın babası, bu olaydan sonra oğlunun orduya katılmasını istedi. Dahmer başta iyi gitse de, alkolizm yüzünden iki yıl sonra 1981'de buradan atıldı. Ordudan atılan herkese olduğu gibi Dahmer'e de, ordu tarafından herhangi bir yere gitmesi için bir bilet verildi.
Dahmer, daha sonraki ifadelerinde, babasıyla yüzleşmek yerine Miami Beach, Florida'ya gitmeyi tercih ettiğini, burayı seçmesinin sebebinin de "soğuktan sıkılmış olması" olduğunu beyan edecekti. Buradaki zamanının çoğunu bir hastanede çalışarak geçiren Dahmer, yine alkol yüzünden buradan da atıldı. Eve döndükten sonra aşırı miktarlarda içmeye devam eden Dahmer, 1981'de alkollü araç kullanmaktan dolayı tutuklandı.
1982'de Dahmer ninesiyle West Allis'e gitti ve altı yıl burada yaşadı. Bu sıralarda davranışları iyice garipleşen Dahmer; bir keresinde gardırobuna mağazadan çalınıp süslenmiş bir erkek cansız manken koydu.
Bir başka zamansa, ninesi, onun yatağının altında bir .357 Magnum'a rastladı. Yine bodrumdan gelen kötü kokular sonrasında Dahmer, babasına ölü bir sincabı kimyasallarla parçaladığını ifade etti. Yine 1982 ve 1986'da iki kez edepsiz teşhir yüzünden tutuklandı; ikinci tutuklanışının sebebiyse iki erkek çocuğunun önünde mastürbasyon yapmış olmasıydı.
1988 yazında Dahmer'ın ninesi, torununun tuhaf davranışları, eve geç gelişleri, bodrumda bıraktığı kokuları sebebiyle ondan evi terk etmesini rica etti. Böylece Dahmer, Milwaukee'nin batı yakasında bir ev bularak Ambrosia Çikolata Fabrikası'nda çalışmaya başladı. 26 Eylül 1988'de, taşınmasının ilk gününde Somsack Sinthasomphone adlı 13 yaşındaki çocuğu uyuşturması ve taciz etmesi nedeniyle tutuklandı.
Ardından da beş yıllığına tutuksuz yargılanmak üzere serbest bırakıldı ve bir yıllığına mahkûm çalışma izni aldı. Dahmer, iki ay erkenden şartlı tahliye aldı ve yeni apartmanına taşındı. Hemen sonra, 1991'deki yakalanışına kadar cinayetlerine ve tecavüzleri devam etti.