Rallare var från början en anläggningsarbetare, särskilt vid järnväg och kraftverksbyggen. Andelen heltidsanställda rallare var begränsad. Det var vanligt att den som ”gick på rallen” istället var någon form av lantarbetare som sökte sig till järnvägsbyggen för att få en bättre lön.
Arbetet var mycket hårt, riskfyllt och arbetsförhållandena var många gånger mycket svåra. Rallarna inhystes ofta i bristfälliga baracker. Även om arbetet var farligt så var betalningen en stark drivkraft för rallarna.
När rallarna drog fram mellan samhällen på landsbygden blev de ofta populära bland de unga kvinnorna. Mötet med de bofasta männen blev däremot konfliktfyllt och ledde ofta till slagsmål. Rallarslagsmål är ett begrepp för vilt råkurr utan regler.
Rallarsving benämns ett slag som utförs genom att man svingar hela armen i en cirkel för att sedan träffa motståndaren med knytnäven i ansiktet.