لقب عزوز و عزوزي و بن عزوز بتونس يعود إلى عائلة بن عزوز البرجي الحسني الإدريسي الولي الصالح المعروف و هو من البرج ببسكرة من الجزائر
هاجرت أسرته إلى البلاد التونسية إثر دخول الإحتلال الفرنسي إلى بسكرة و استقر أيناؤه بنفطة (الجنوب التونسي ) و ...القيروان ثم انتشروا في القطر و اشتهرت العائلة بالعلم و لا تزال ... و هذه العائلة تنتسب إلى الطريقة الرحمانية و يوجد اليوم فروع بالجزائر تحمل لقب بن عزوز... أما سيدي علي عزوز الولي الصالح المعروف بزغوان فأحفاده يحملون لقب عزوز و أصله من المغرب و هذه العائلة هي كذلك حسنية ادريسية فكلتا العائلتين تنتسبان إلى آل البيت و لكن تلتقيان بعيدا في الأصول