被香港民眾形容為「犯罪家族」的黃氏共有六兄弟姐妹，分別為大哥黃桂芬、二弟黃桂榮、三弟黃桂強、四妹黃瑞芳、五妹黃瑞貞以及六弟黃桂南。黃氏父母依靠在石硤尾當小販養大兒女，雖然家境貧困，但一家人的感情很要好。到了八十年代中期，黃桂芬搭上台灣地區竹聯幫，開展放貸業務後，自此步入歧途。
黃氏四兄弟在八、九十年代可謂橫行霸道以及犯案累累，是香港開埠以來最大的詐騙犯，家族旗下有十幾家詐賭賭場，短短時間便詐騙十多億港幣，因此成為警方重點打擊對象。各人最終分別因放貸、教唆傷人、詐騙以及恐嚇等入獄，犯罪家族惡名由此廣傳。
九十年代初期，赤柱監獄關押著四名惡貫滿盈的要犯，分別為張子強、葉繼歡、黃桂芬以及劉國雄，他們也被稱之為赤柱四大惡人。四大惡人在赤柱可謂呼風喚雨，各自拉攏了一幫勢力，構建了一個監獄風雲版的江湖。
1999年，在經歷了十一年的鐵窗生涯後，回歸社會的黃桂芬改名黃進一，還揚言會洗心革面以及珍惜與家人相處的日子。重獲自由後的黃氏兄弟轉趨低調，黃桂芬也開始退居幕後指揮，家族生意則由黃桂榮出面管理。
黃桂芬與黃桂榮
黃桂榮在2004年與朋友葉某文成立一間財務中介公司，到了2009年再安排心腹成立財務公司。黃氏兄弟以財務公司及財務中介作為包裝，雖然兩間公司的業務規模不算最大，卻大搞比大耳窿「九出十三歸」更狠的放貸活動，因經營手法十分毒辣而被行內人形容為最惡放貸集團。
財務中介是靠介紹客戶給財務公司，然後向客戶收取中介費用，既不屬於借貸條件，也不用在借貸合約中註明，因此不受《放債人條例》法例及金管局監管。而此經營手法被黃氏家族包裝後，一方面光明正大經營財務公司生意，同時又以財務中介走法律邊緣，變相向客戶放高利貸，且食水比大耳窿更深。
大耳窿都是九出十三歸，例如借十萬能得到九萬，連本帶息則收回十三萬元；但黃氏兄弟的財務公司放貸十萬隻有五、六萬進入借貸人口袋中，因為會被黃氏兄弟的另一家財務中介公司先掠一大筆中介費。
大耳窿的「窿」就是孔、洞，「耳窿」就是耳朵眼、耳孔，但這裡的大耳窿指的是放高利貸之人。早年的錢銀交易，大數目用 「大頭」（銀元），小數目為「銅板」（銅錢），高利貸者收數後，多數將銀元、銅錢之類塞在耳窿，久而久之便把耳窿也撐大， 故稱為「大耳窿」。而高利貸的利息是逐日起 「釘」(利息)，以復息計算而謂之「釘加釘，利疊利」。
隨後再以長命債長命還的貸款條件不斷收取高息回報，並使用各種手段阻止借債人提早清還債務。直到借債人無力償還後，便會威逼其變賣用作抵押的物業，終極目標就是榨乾榨凈為止。
一名65歲的港商因資金緊張而找上了黃氏兄弟的財務公司，想在財務公司借貸一億，於是黃桂芬、黃桂榮兄弟聯合他人開始進行布局，對這位急於借貸的事主聲稱可以批出上億的貸款，後把其誘騙至深圳進行所謂的考察。2018年2月，當事主到達深圳後立即被禁錮及毆打，且被迫簽字確認欠債上千萬，港商在向朋友借錢期間，友人起疑後報警才揭發案件，隨後就有了開頭講訴的粵港兩地的聯合行動，並將港商成功救出。
兄長黃桂芬被控以串謀詐騙罪，獲准以100萬港幣保釋，卻在保釋候審期間留下四封遺書後跳樓；其被通緝的胞弟黃桂榮則在隔天前往警署自首。而遺書內容大意為：對不起，迫於無奈走到這一步，已經沒有希望，只希望家人能堅強走下去。
