Sumba je društvo visoke raslojenosti na kaste,[3] što je osobito snažno rasprostranjeno na istoku Sumbe, dok na zapadu Sumbe društvo je nacionalno i jezično raznolikije.[4] Narod Tau Humba govori raznolikim austronezijskim jezicima i mješovitih je austronezijsko-melanezijskih korijena. Najveća jezična skupina su govornici jezika kambera kojim govori četvrt milijuna ljudi na istoku Sumbe.
U povijesti Sumba je izvozila sandalovinu pa je bila poznata kao otok Sandalovine (Sandelhouteiland).[5] Po njoj je ime dobila lokalna konjska pasmina sandalovinski poni koja potječe sa Sumbe i Sumbawe.[6] Skoro sva stara šuma raščišćena je radi sađenja kukuruza, manioke i drugih biljaka pa su danas od izvornih šuma ostale samo izolirane male površine. Proces se nastavlja i dansa zbog rastućeg broja stanovništva na otoku zbog čega predstavlja prijetnju ptičjoj fauni.[7] 1998. dva su nacionalna parka na otoku određena za zaštitu ugroženih vrsta: Laiwangi Wanggameti i Manupeu Tanah Daru.
Prije dolaska zapadnih Europljana u 16. stoljeću Sumbu su naseljavali australski i polinezijski narodi. 1522. došli su prvi brodovi iz Europe. Do 1866. pripadala je Nizozemskoj istočnoj Indiji, premda otok nije došao pod nizozemsku upravu sve do 20. stoljeća. Isusovci su na otoku otvorili misiju u Lauri na Zapadnoj Sumbi 1866.[8]
Unatoč dodirima sa zapadnim kulturama Sumba je jedno od rijetkih mjesta na svijetu na kojem su megalitski pokopi "živa tradicija" koju se održava kad umru prominentni pojedinci. Pokop uz megalite je običaj koji se izvodio diljem svijeta u mlađem kamenom dobu i brončanom dobu. Do danas preživio je na Sumbi i privukao je pozornost znanstvenika.[9] Na Anakalangu, su iskopane četverokutaste teslice.[10] Sumba održava još jednu vrlo staru tradiciju. To je vrlo opasna igra pasola koja ponekad rezultira i smrću sudionika. Momčadi koje čine stotine jahača konja bore se kopljima.[11]