Svartbäck By ligger i den norra delen av Norrby församling och består av tre gårdar: Ol Ers, Lars Ers och Erik Ers. I området finns många fornlämningar såsom en fossil åkermark utsatt som brukad jord på 1653 års karta.
Före laga skiftet år 1863 var arealen för de tre gårdarna tillsammans 3/4 mantal. Efter laga skifte blev endast Ol Ers kvar i byn, de övriga utflyttades och Erik Ers placerades där vi befinner oss idag på gården Övre Svartbäck.
Längs Sågbäcken i utkanten av byn finns en gammal boplats i form av en skärvstensförekomst så stor som 10 meter i diameter som syns i form av en mörk cirkel i jorden när marken är bar tex efter harvning samt en kvarnlämning från äldre tid.