余姓氏的世家起源可以追溯到春秋时期，当时秦国的上卿由余。由余原为晋人，秦穆公见其才德，便用计留其在秦国为相，很得穆公信任。由余为上卿后，助秦穆公谋划攻伐西戎之策，灭国十二，拓地千里，而称霸西戎，使秦穆公成为春秋五霸之一。由余是史上最早提出“仁治”说法的，详见《史记·秦本纪》。由余曾为秦国富强、统一天下奠定了坚实的基础，后人引以为荣，遂以其字为氏，尊其为余姓的得姓始祖。

另外，关于余姓氏的起源还有以下几种说法：

1. 源于大禹之后：夏朝时，夏主少康的庶子无余被封为越王，无余的子孙中也有人以他名字中的余为姓。

2. 源于大禹的第三子空（又名罕），被封为余度王（一说余庆王），其后代以祖先爵号为姓。

3. 春秋时，齐国有人以“余丘”为姓，后来又简化成余。

4. 晋初余姓著名的人物有余昭元，因功高绩伟敕赐姓佘，为佘姓著名得姓始祖。

5. 南朝宋有余齐民，晋陵（今江苏省常州市）人，以孝行著称。

6. 清代，有余姓自福建省迁至中国台湾地区，知名人物有抗日首领余日清。 此后又有移居海外者，比较著名的有前加州省会城市萨克拉门托市市长余福庆（两次连任）。

综上所述，余姓氏的世家起源有多种说法，但可以确定的是，由余是余姓的一个重要起源。余姓氏在中国历史上有着重要的影响和地位，也有很多杰出的余姓氏人物对中国的发展做出了重要的贡献。