記事一覧 2024
記事一覧 2023
- FireDucks内部で働く高速化技術
Tuesday, December 05, 2023 in Posts
groupbyの切り替え この記事ではFireDucks内部で使われているgroupby高速化技術について紹介します． 表データ分析においてgroupby操作は最も基本的で重要な操作の一つです． groupby操作を用いることでデータの平均や分散といった重要な統計的性質を知ることができ， その他操作と組み合わせることで新しい特徴量を得ることもできます． FireDucksでは高速なgroupby操作を実現するためにデータ特性に応じた最適化を行っています． その一つがグループ数によるgroupby …