被香港民众形容为「犯罪家族」的黄氏共有六兄弟姐妹，分别为大哥黄桂芬、二弟黄桂荣、三弟黄桂强、四妹黄瑞芳、五妹黄瑞贞以及六弟黄桂南。黄氏父母依靠在石硖尾当小贩养大儿女，虽然家境贫困，但一家人的感情很要好。到了八十年代中期，黄桂芬搭上台湾地区竹联帮，开展放贷业务后，自此步入歧途。
黄氏四兄弟在八、九十年代可谓横行霸道以及犯案累累，是香港开埠以来最大的诈骗犯，家族旗下有十几家诈赌赌场，短短时间便诈骗十多亿港币，因此成为警方重点打击对象。各人最终分别因放贷、教唆伤人、诈骗以及恐吓等入狱，犯罪家族恶名由此广传。
九十年代初期，赤柱监狱关押着四名恶贯满盈的要犯，分别为张子强、叶继欢、黄桂芬以及刘国雄，他们也被称之为赤柱四大恶人。四大恶人在赤柱可谓呼风唤雨，各自拉拢了一帮势力，构建了一个监狱风云版的江湖。
1999年，在经历了十一年的铁窗生涯后，回归社会的黄桂芬改名黄进一，还扬言会洗心革面以及珍惜与家人相处的日子。重获自由后的黄氏兄弟转趋低调，黄桂芬也开始退居幕后指挥，家族生意则由黄桂荣出面管理。
黄桂芬与黄桂荣
黄桂荣在2004年与朋友叶某文成立一间财务中介公司，到了2009年再安排心腹成立财务公司。黄氏兄弟以财务公司及财务中介作为包装，虽然两间公司的业务规模不算最大，却大搞比大耳窿「九出十三归」更狠的放贷活动，因经营手法十分毒辣而被行内人形容为最恶放贷集团。
财务中介是靠介绍客户给财务公司，然后向客户收取中介费用，既不属于借贷条件，也不用在借贷合约中注明，因此不受《放债人条例》法例及金管局监管。而此经营手法被黄氏家族包装后，一方面光明正大经营财务公司生意，同时又以财务中介走法律边缘，变相向客户放高利贷，且食水比大耳窿更深。
大耳窿都是九出十三归，例如借十万能得到九万，连本带息则收回十三万元；但黄氏兄弟的财务公司放贷十万只有五、六万进入借贷人口袋中，因为会被黄氏兄弟的另一家财务中介公司先掠一大笔中介费。
大耳窿的“窿”就是孔、洞，“耳窿”就是耳朵眼、耳孔，但这里的大耳窿指的是放高利贷之人。早年的钱银交易，大数目用 「大头」（银元），小数目为「铜板」（铜钱），高利贷者收数后，多数将银元、铜钱之类塞在耳窿，久而久之便把耳窿也撑大， 故称为「大耳窿」。而高利贷的利息是逐日起 「钉」(利息)，以复息计算而谓之「钉加钉，利叠利」。
随后再以长命债长命还的贷款条件不断收取高息回报，并使用各种手段阻止借债人提早清还债务。直到借债人无力偿还后，便会威逼其变卖用作抵押的物业，终极目标就是榨干榨净为止。
一名65岁的港商因资金紧张而找上了黄氏兄弟的财务公司，想在财务公司借贷一亿，于是黄桂芬、黄桂荣兄弟联合他人开始进行布局，对这位急于借贷的事主声称可以批出上亿的贷款，后把其诱骗至深圳进行所谓的考察。2018年2月，当事主到达深圳后立即被禁锢及殴打，且被迫签字确认欠债上千万，港商在向朋友借钱期间，友人起疑后报警才揭发案件，随后就有了开头讲诉的粤港两地的联合行动，并将港商成功救出。
兄长黄桂芬被控以串谋诈骗罪，获准以100万港币保释，却在保释候审期间留下四封遗书后跳楼；其被通缉的胞弟黄桂荣则在隔天前往警署自首。而遗书内容大意为：对不起，迫于无奈走到这一步，已经没有希望，只希望家人能坚强走下去。
