Nascido com o nome de Marion Walter Jacobs em Marksville, Louisiana, Estados Unidos, em 1º de maio de 1930. Deixou a sua terra natal para conhecer New Orleans, passou por Helena, no estado do Arkansas, mais ao norte do país, decidiu então voltar para o sul, a caminho de Chicago. Sem dinheiro algum, dormia na rua quando não encontrava trabalho. Quando chegou em Chicago tinha 17 anos e, pelo que dizem, já era um tarimbado performer, que sabia tudo sobre tocar nas ruas por alguns trocados. Foi em Chicago que rapidamente ele fez seu nome entre os bluseiros da região. O contato mais importante que fez foi com Jimmy Rogers, quem ele já havia conhecido em Helena, e que tocava com Muddy Waters. Inevitavelmente Walter entrou na banda de Muddy Waters e acabou gravando temas referenciais do blues tradicional, como Hoochie Coochie Man, Mannish Boy, Forty Days and Forty Nights, Standing Around Crying e Honey Bee.
A riqueza dos tons obtidos, o calor dos harmônicos, a amplitude sonora e a extraordinária invenção dos solos longamente construídos e elaborados fazem dos melhores trechos criados por Walter algumas das obras-primas da história do blues. Ele era temperamental e brigava com qualquer um que o desafiasse, infelizmente sua personalidade violenta e arrogante, adicionada ao álcool, o impediu de colher durante muito tempo os frutos do sua genialidade musical.
Reverenciado hoje em dia por todos os críticos e músicos, ele criou involuntariamente uma nova escola de gaitistas, da qual Carey Bell, Louis Myers, Paul Butterfield, Charlie Musselwhite são os principais representantes.
A gaita de Little Walter não se parecia com nada antes visto. Muitas vezes podia ser confundida com um saxofone, e dizem que muitos de seus riffs tiveram mais influências de músicos como Louis Jordan do que de outros gaitistas.
O seu primeiro disco solo foi ''Juke'', mesmo nome do tema instrumental que deve ser adotado como um dos mandamentos de qualquer gaitista de blues. A música Juke foi um sucesso total, que permaneceu no topo das paradas musicais por semanas. Só para se ter uma idéia, na capa do disco havia uma foto da harmônica usada por Little Walter, uma Marine Band, da marca Hohner. Pois é, esta harmônica, que antes do lançamento do disco custava cerca de US$ 0,75 lojas, passou a custar mais de US$oito dólares depois da divulgação do disco. Foi, sem dúvida, um marco na história do instrumento.
Walter não era o melhor dos vocalistas, mas sabia, sem dúvida, fazer o público sentir os pêlos do braço arrepiando quando cantava temas como ''Last Night'' e ''Just Your Fool''. O seu maior sucesso foi uma adaptação feita por Willie Dixon, chamada ''My Babe''. Esta foi re-gravada diversas vezes por diversos artistas desde então, mas nenhuma delas foi melhor que a original de Little Walter.
Em 14 de fevereiro de 1968, Walter, após se envolver em mais uma de suas brigas de rua, chegou em casa dizendo que havia levado uma pancada na cabeça, mas não fora nada demais e somente iria dormir mais cedo porque estava com muito sono. No dia seguinte foi encontrado morto em sua cama porque se tratava de um traumatismo craniano. Só pela gravadora Chess deixou mais de 100 títulos gravados e, apesar de turbulentos, os 38 anos de vida de Little Walter Jacobs foram mais que suficientes para imortalizar o seu trabalho.

mockup