株式会社LOWWS CTOのスラヴィ・パンタレーブ(Slavi Pantaleev)にインタビューし、 現在携わっているプロジェクトの中で興味深い技術や最新の知見について聞いていくコーナーです。
今回はRust製の多機能Matrixチャットボットbybotの開発経緯について聞きました。
This is an interview with Slavi Pantaleev, CTO of LOWWS Inc., where we explore interesting technologies and the latest insights from his current projects.
In this session, we heard about the story behind the development of bybot, a feature-rich Matrix chatbot written in Rust.
The English article follows the Japanese article.
Rust製Matrixボット「bybot」
スラヴィ: Open AIとChatGPTは非常に人気があり、様々な議論や支援に利用されています。私も同様です。 普段は、Matrixチャットシステム用のチャットボットとして、Open AIや類似のツールを使用しています。Matrix ChatGPTボットと呼ばれていました。 そして、時間の経過とともに多くの問題点が見つかりました。 その1つは、Open AIしかサポートしていないことでした。Anthropicのような他のサービスや、Open AIの提供する新しい機能の一部をサポートしていませんでした。また、テキスト読み上げや音声テキスト変換もサポートしていませんでしたが、これらは人気がありました。
そこで、昨年の夏、私はこのMatrix ChatGPTボットの代替となるものの開発に取り組んできました。 それはbybotと呼ばれています。最初は小規模で、ChatGPTボットの最も基本的な機能を置き換えることを目標としていました。 スレッドで会話をし、応答を受け取り、新しい情報でスレッドを継続できるようにすることです。 しかし、時間の経過とともに成長し、より多くの機能と代替プロバイダーのサポートが追加されました。 現在、Anthropic、Grok、ローカルAIをサポートしており、ローカルエージェントを使用したい場合にも対応できます。 さらに、現在ではさらに多くのLLMプロバイダーをサポートしています。最近では、多くのLLMプロバイダーがOpen AI API仕様を使用することに落ち着いています。 つまり、独自のサービス用にOpen AI互換のAPIを作成しているのです。 これは、同じコードを使用してこれらすべての異なるLLMを使用する簡単な方法です。
そして、このボット、bybotは、Whisperモデルを使用して音声をテキストに変換するさまざまな機能を備えるようになりました。 そのため、Matrixを使用して質問をすることができます。ボットに音声メッセージを送信すると、テキストに変換され、ボットは再びテキストで応答します。 そして、ボットは自身の応答を音声に変換することも提案できます。 ですから、音声で質問して、最後に音声で応答を得ることもできます。 あるいは、他の多くの方法で使用することもできます。 1つの使い方は、単なる文字起こしサービスとしてです。 音声メッセージを送信すると、生成されたメモが得られます。 それをメモとして使用したり、友人に送信したりすることができます。 これは、話した内容をそのままテキストメッセージとして転送する簡単な方法です。 なぜなら、多くの人はメッセージとして音声ではなくテキストを受け取ることを好むからです。
また、このボットには、Open AIのDalleモデルを使用して画像を生成する機能もあります。 はい、これが私が夏の間取り組んできたことです。 そして、興味深いのは、Rustで書かれていることです。 私は新しい言語を試してみたかったのです。Rustについては、その効率性と高品質なソフトウェアを生み出す能力について、非常に良い評判を聞いていました。 また、非常に複雑で難易度が高く、使いこなせるようになるまでには長い時間がかかり、言語を十分に理解するまでには、邪魔にならないようにする必要があるとも聞いていました。 ですから、私はこの挑戦もしたかったのです。 そして、既存のMatrix ChatGPTボットよりもはるかに高品質で、より多くのことができるものを構築したいと考えました。 より多くのモデルと対話し、音声、文字起こし、画像生成など、これらのモデルのより多くの機能を使用できるようにすることです。 これが、私がこのボットを開発した理由です。 また、これは私が参加しているetke.ccマネージドMatrixサービスの一部でもあります。 もしよろしければ、Matrixやetke.ccについても話すことができます。
ナオト: etke.ccとは何ですか？
スラヴィ: etke.ccは、もしよろしければウェブサイトをご覧いただくこともできますが、独自のMatrixチャットサーバーをホスティングするためのSaaSサービスです。 私は長年、おそらく2018年以来、Matrixのファンです。 その頃から使い始め、独自のサーバーを作成しました。Matrixをセルフホスティングすることは、当時でさえ非常に難しいことでした。 Matrixをホスティングする場合、システムには多くの異なるコンポーネントがあります。 Matrixホームサーバー、通常はSynapse、Postgresデータベース、Elementチャットクライアント、音声およびビデオ通信用のTURNサーバー、そしておそらくいくつかの追加コンポーネントが必要です。 これらは、デプロイする必要がある非常に多くのコンポーネントです。 そして、Matrixの利点は、拡張可能なチャットサービスであることです。 そのため、セルフホストできるさまざまなボットや、さまざまなネットワークブリッジがあります。 Slack、Discord、Facebookなどにブリッジできます。 これらはすべて追加コンポーネントです。 ですから、これらすべてが必要な場合は、すべてをセルフホストする必要があります。 その数は増え続けており、すべてが相互に接続されています。 そのため、デプロイは非常に難しいと言えますし、煩雑です。 2018年頃の既存のガイドでは、Docker Composeのガイドなどがあったかどうかはわかりませんが、既存のガイドは非常に手動でした。 これをインストールし、SSL証明書を取得し、engine Xをインストールし、Postgresをセットアップするなど、手動で設定する必要がある非常に多くのコンポーネントがありました。 そこで私は、MatrixをセットアップするためのAnsible自動化プレイブックを作成しました。 そして、長年にわたり、おそらくMatrixサービスをデプロイするための最も大規模で最も人気のある方法になりました。
ナオト: それを作ったとおっしゃいましたか？
スラヴィ: ええ、そうです。Matrix Docker Ansible deployと呼ばれています。検索してみてください。 おそらく、Matrix Ansible deployで検索すると見つかるでしょう。
ナオト: ああ、それは本当にすごいですね。
スラヴィ: はい、独自のMatrixサーバーをセットアップする簡単な方法です。 VPSまたは何らかのサーバーを用意し、ドキュメントに時間を費やすだけで、すべてがインストールされます。 インストールできるMatrix関連のブリッジ、ボット、追加サービスは数十種類あります。 これは非常に素晴らしい方法です。 しかし、やはり、これには技術的な能力が必要です。 独自のサーバーを管理し、このドキュメントを読み、時間の経過とともにアップデートをインストールする必要があります。 すべてをできるだけ簡単にするように努めていますが、それでも誰かが管理し、時間を費やし、時には問題をデバッグする必要があります。 そのため、別の人がこのetke.ccサービスを作成しました。 いつだったかは定かではありません。 2021年だったと思います。モルドバ出身のNikitaという人が、私のオープンソースのAnsibleプレイブックに基づいて、このetke.ccサービスを作成しました。 彼はそれ以来、SaaSとして運営しています。 そして、数年前のある時点で、私は彼と提携し、私たち二人でこれに取り組むことにしました。 そうすることで、より良くすることができ、より多くの人にリーチできるようになります。 はい、etke.ccで行っていること、etke.ccで行っていることはすべて、主にこのAnsibleプレイブックと、Mashプレイブックと呼ばれる別のAnsibleプレイブックに基づいたフリーソフトウェアです。 おそらくそれも検索できるでしょう。
ナオト: Mashプレイブック？
スラヴィ: はい、そうです。 このGitHub organizationでは、Mother of all self hostingと呼ばれています。 さまざまなサービスのための多くの異なるリポジトリがあり、それらはすべてAnsibleを使用して管理されています。 そのため、非常に多くのものをデプロイできます。 notify、Redmine、Keycloakなど、非常に多くの異なるコンポーネントをデプロイできます。すべてフリーソフトウェアで、Ansibleの設定であり、Matrix Ansibleプレイブックと同じ考え方を取り入れています。 すべてがDockerコンテナ内で実行されます。 これにより、非常に安定し、移植性が高くなります。 そのため、異なるサーバーにデプロイできます。 異なるバージョンのUbuntu、Rocky Linux、またはDockerとsystem Dを備えたその他のものでもかまいません。 デプロイして、ほぼ同じ結果を得ることができます。 これは、最近、小規模な、つまり仮想マシン上でサービスをデプロイするための非常に健全な方法です。 これはKubernetesではありません。 単一のサーバーがあり、おそらく自宅かどこかから借りていて、そこでたくさんのサービスを実行したいと考えているとします。 これらのAnsibleプレイブックは、そのための優れたソリューションだと思います。 Kubernetesではありません。 複数のサーバーは必要ありません。 それらすべてを管理するものは必要ありません。 Argo CDや設定言語は必要ありません。 このようなものを使用するだけで済みます。 超スケーラブルではありません。 5,000台の仮想マシンでは動作しませんが、独自の目的のためにいくつかのソフトウェアを実行するには適しています。 はい、etke.ccサービスは基本的にそのほとんど、これらのサービスのほとんどをラップしており、人々が簡単にインストールし、他の誰かに管理してもらうことができます。 サーバーを入手していただければ、これらのサービスを管理します。 そして、bybotは、リストに追加したもう1つのサービスです。 これは、私たちに問題を引き起こしていた既存のボットの代替として開発されました。 そして、そのセットアップを自動化し、後で人々が自分で管理できるようにすることは困難でした。 はい、私はまた、Rustを使用して何か有用なものを作成し、このボットと話すことで、私自身が毎日使用しているものを開発したいという、個人的な欲求を満たしたかったのです。
ナオト: 素晴らしいですね、本当に素晴らしいです。ええ。ええ、完全に私の想像を超えています。
スラヴィ: はい、Ansibleに興味がある場合は、このようなものを試してみることができます。 これらのプレイブックのいずれか、MashプレイブックまたはMatrix Docker Ansible deployプレイブックを試して、独自のサーバーをセットアップすることをお勧めします。 どこかからVPSを入手する必要があり、Ansibleを試して魔法が起こるのを見ることができます。 これは、比較的簡単な方法でセルフホスティングを始めるのに適した方法です。 そして、Ansibleのような自動化ツールを使用するための良い入門書です。 最初はユーザーとして使用します。 しかし、コードを少し掘り下げて、物事がどのように接続され、Ansibleがどのように機能するかを理解しようとすることもできます。 ですから、Ansibleを使用して他のサービスを自動化することに興味がある場合は、このインスピレーションに従って、そのリソースから学ぶことができます。
ナオト: いつか試してみます。 素晴らしいですね。
bybot: A Rust-based Matrix Chatbot
Slavi: Open AI and chat GPT are quite popular and people like using them for various discussion and help. It’s been like that for me as well. Typically I would use Open AI and similar tools using a chatbot for the matrix chat system called matrix chat GPT bot. I’ve found lots of issues with it over time. One of them was it only supported Open AI. It didn’t support other services like Anthropic or newer features in Open AI’s offerings or text to speech or speech to text.
Over this summer, last summer, I’ve been working on a replacement for this matrix chat GPT bot and it’s called bybot. It started small and the goal was to replace the most basic features in the chat GPT bot. So you could talk to it in a thread, get the responses and continue the thread with new information. But over time it grew to have more features and more support for alternative providers. It currently supports anthropic and Grok and local AI if you’d like to use local agents and many more. Nowadays, there are a lot of LLM providers which have settled on using the Open AI API specification. So they are creating a an open AI compatible API for their own service. This is an easy way to use all of these different LLMs using the same code.
And so this bot bybot grew different features for using whisper models for converting speech to text. Now you can ask your question, using matrix you can send a voice message to the bot and it will be transcribed to text and then the bot will answer in text again. It could offer to turn its own response into speech. You can ask it in speech and you can get speech in the end as well if you’d like. Or you can use it in many other ways. One way you could use it is just as a transcription service. You’re sending it your speech voice message and you’re getting the generated memo of it. You could use that as a memo or use that to send to your friend. This is an easy way to just speak and then forward the text message because maybe a lot of people prefer to get text as messages, not speech so much.
And this also it has features, this bot has features for generating images using Open AI’s Dalle models. That’s what I’ve been working on over the summer and the interesting thing about it is that it’s written in Rust. I wanted to experiment with a new language and I’ve heard very good things about Rust and its efficiency and high quality software that it’s able to produce. I’ve also heard that it’s very complex and very challenging and it takes a long time to wrap your head around it and get to know the language enough that you can write something usable without it getting in the way so much. So I wanted this challenge as well. I wanted to build something which is much higher quality than the existing matrix chat GPT bots and something which does more. So talking to more models, using more capabilities of these models like voice and transcriptions and image generation. That’s why I’ve developed this bot.
It’s also part of the etke.cc managed matrix service that I’m part of.
Naoto: What is A etke.cc? What’s that?
Slavi: etke.cc, you could also open it if you’d like to see the website, is a SAS service for hosting your own matrix chat server. I’ve been a fan of Matrix for many years, maybe since 2018. I started using it around that time and develop so creating a your own server, self- hosting matrix was a very challenging thing even back in the day. You had the problem is when you’re hosting matrix, you have many different components in the system. So there’s the matrix home server, typically synapse and you need a postgres database, the element chat client, turn server for voice and for audio video communication, and maybe a few different additional components. These are so many components that you need to deploy. Later, the benefit of Matrix is that it’s an extensible chat service.
There are various different bots that you can self host and various network bridges. You can bridge it to Slack or Discord or Facebook and all of these are additional components. If you want all of that, you need to self host all of that. The number is growing and everything is interconnected with everything else. It’s very difficult to deploy, I would say and it’s messy. The existing guides around 2018, I’m not sure if there was a docker compose guide or something, but the existing guides were very manual. Install this and get SSL certificates and install engines engine X and set up postgress and so many different components that you have to wire manually. I created an ansible automation playbook for setting up matrix. Over the years, it has become probably the largest and most popular way to deploy a matrix service.
Naoto: Did you say you made that?
Slavi: Yeah. It’s called matrix docker ansible deploy. So you could search for that. maybe if you search for matrix ansible deploy, you will see it.
Naoto: Oh, that’s really cool.
Slavi: It’s an easy way to set up your own matrix server. You need a VPS or some server and spending some time with its documentation and it will install everything for you. There are tens of different bridges and bots and additional services around matrix that you can install. It’s a very cool way to work with it. But again, this requires technical ability. So it requires managing your own server and reading this documentation and installing updates with it over time. It tries to make everything as easy as possible, but it’s still requires someone to manage it and someone to spend time and sometimes debug issues. Which is why another guy created this etke.cc service.
I think 2021. A guy from Moldova named Nikita created this etke.cc service based on my own open source ansible playbook. He has been running it as a SaaS since then. At some point a few years ago, I decided to partner with him and have us both work on this so it can become better and we can reach more people. Everything at etke.cc, everything we’re doing at etke.cc is free software based on mostly on this ansible playbook and also on another ansible playbook called Mash playbook. You could probably search for that as well.
Naoto: Mash playbook?
Slavi: Yeah, in this GitHub organization, it’s called the mother of all self- hosting. There are many different repositories for many different services all of them managed using ansible. So you can deploy so many of these. So notify, red mine, key cloak, and so many different components you can deploy and everything is free software and it’s ansible configuration and it creates it’s it’s taking the same idea from the matrix ansible playbook. Everything runs in a docker container. This makes it very stable and portable. You can deploy it on different servers. It can be different versions of abuntu or a Rocky Linux or anything else which has docker and system D. You can deploy and get pretty much the same result.
It’s a very sane way to deploy services nowadays on small, you know, on virtual machines. So this is not Kubernetes. This is you have a single server maybe at your home or somewhere you’re renting from somewhere and you’d like to run a bunch of services on it. So I think these ansible playbooks are a great solution to that. It’s not Kubernetes, you don’t need multiple servers, you don’t need something to manage all that. You don’t need Argo CD or configuration languages. You could just use something like this. It’s not super scalable, it’s not running on 5,000 virtual machines, but it’s good for running some software for your own purposes.
The etke.cc service is basically wrapping most of that, most of these services and it allows people to install them easily and to have them managed by someone else. We’re managing these services for you if you get a server from us. and by bot is another service which we added to the list. It’s it was developed as a replacement for the existing bot which was causing us problems. And it was difficult to automate its setup and to let people self- manage it later. I also wanted to scratch my own edge to use rust to create something useful and to develop something that I’m using every day myself, talking to this bot.
Naoto: That’s really great. Really great. it’s totally beyond my imagination.
Slavi: You could probably experiment with something like this if you’re curious about ansible. I could recommend that you try one of these playbooks, either Mash playbook or the matrix docker ansible deploy playbook and set up your own server. You need to get a VPS from somewhere and you can experiment with ansible and see the magic happen. It’s a good introduction to self- hosting in a relatively easy way. And it’s a good introduction to using automation tools like ansible. First you’re going to use it as a a user, but you could also jump into the code a bit and try to figure out how things are connected and how ansible works. So maybe if you’re interested in automating other services with ansible, you could follow this inspiration and learn from that resource.
Naoto: See, I will try that someday. Sounds great.
この記事はインタビューをもとにAIを使用して作成されています。 This article was created using AI based on interviews.