Brännö skiljer sig en del från de andra öarna i skärgården, både nu och i historisk tid. Yrkesfisket har t.ex. aldrig haft någon riktigt stor betydelse för befolkningen på ön. Jordbruket, lotsarna och sjöfarten (uteseglande sjömän) har istället stått för den huvudsakliga försörjningen.

Under lång tid var Brännö landets viktigaste lotsplats. Ön var även tullplats under många år.

På Gärdet odlades spannmål, potatis och övriga jordbruksprodukter för öbornas uppehälle.
Det är ett av de sista sammanhållna by-gärdena i västra Sverige, tills nyligen helt obebyggt.

I flera av de isländska skrifterna (sagorna) berättas om de många tings- och marknadsstämmorna på Brännö under vikingatid och senare. Bl.a. när den sköna irländska kungadottern Melkorka såldes som träl till den isländske hövdingen Hoskuld Dalakollson,
på en Brännö-marknad under 900-talet.

Genom sitt strategiska läge har Brännö varit en viktig mötesplats för sjöfarare, hövdingar och kungar som genom historisk tid kämpat om gränserna mellan Sverige, Norge och Danmark. I flera hundra år var Brännö och de närliggande öarna gränsland mellan de tre rikena.