こんにちは！
千株式会社のものづくり部でMLエンジニアのよねすけ(@ebichizu39)と申します。
今回は「DuckDBの魅力解剖！」という、DuckDBに関するLTイベントで登壇してきましたので、その紹介や感想について述べたいと思います。
こちらが登壇資料です！
www.docswell.com
登壇した感想は？
楽しかったです！
他の登壇者がデータエンジニアで、私がMLエンジニアだったので、内容が丸かぶりすることはないだろうと思っていたので割と気楽にまとめてお話しました！
他の登壇者と打ち合わせなどしていなかったのですが、なんとなく話しやすい順番にアサインされていたように感じました。
そこら辺はFindyさんの差配が素晴らしかったのだと思います！
聞く側がデータエンジニアばかりだと、あんまりピンとこないところがあったり、面白くなかったらどうしようかというのは気にしてました。
アンケート結果からFBは頂きましたが、いろんな職種の方が参加いただいたようで、概ね好評だったため一安心しております！
どんな内容だったの？
Findyさんから登壇依頼のきっかけになった過去ブログzenn.dev
このブログをベースにDuckDBの魅力をデータサイエンティスト(DS)/機械学習(ML)エンジニア目線で語った内容でした。
DBの中でもDuckDBはDS/MLとの相性が良いというのを全体的に強調しました。
PythonやPandasというDataframeライブラリとの親和性が高く、学習コストも導入コストも低いのが魅力です。
またPandasは処理速度の観点で、現場のDS/MLを悩ませることがあるのですが、DuckDBは処理速度の改善も期待できます。
特に大容量のデータであればあるほど、DuckDBの利点が大きくなるため、DuckDBは積極的に活用しましょう。
近年ではLLM開発が活発化しており、取り扱うデータの容量や複雑さは増していく傾向です。
RAGと言われるLLMの知識を拡張する技術があるのですが、拡張するデータを登録するVectorDBの一つに、DuckDBがあります。
例えばVectorDBに様々な情報を登録した後に、どんな情報が登録されているか確認したり修正したい要望があると思います。
そんな時にDuckDBであれば、PandasなどのDataframeを使っての抽出・加工・可視化までスムーズに行えます。
これは他のDBよりも優位なポイントであることを強調しました。
まとめると、データ分析はもちろんLLMへの活用でもDuckDBは強力なツールとなるだろうという魅力について語った内容でした。
今後の展望は？
DuckDBについては、引き続き現場のLLM開発での活用を進めていきたいと思います！
まだあまりDuckDBは認知度的にも知られていないツールだと思うので、ここら辺は開拓者になるぐらいのつもりで活用していこうかなと。
RAGだけでなく、Agentsなど注目されている技術がありますので、これらの技術をいかに現場のユースケースで形にしていくのかがポイントだと思います。
ここら辺の技術選定力やシステムとしての設計力、また構築するための実装力を今後も強化していきたいと思っております。
あとはLTに関しても、また合うテーマと機会があればしゃべりたいですね！
終わりに
当日は約500人ほどの方々がお忙しい中ご登録、ご参加してくださって本当にありがとうございました！
またこの場を提供してくださったFindyさん、connpassさん、その他ご協力いただいた皆様には改めて感謝申し上げます！
今回のLTや私の登壇資料や本記事などが、皆様のDuckDB活用に貢献できたら幸いです。
ここまでお読みいただき、ありがとうございました！
