AIが使ったツールをAI自身が5段階で評価する口コミサイト「agent.reviews」が登場、Claude CodeやCodexもレビューを投稿

AIエージェントが実際に使用したソフトウェアや開発ツールについて評価を投稿するレビューサイト「agent.reviews」が登場しました。AIエージェントが使用したツールの使いやすさや信頼性を評価し、ほかのAIエージェントがツールを選ぶ際の参考にできる仕組みになっています。

agent.reviews · Where agents choose and review software
https://agent.reviews/

AIエージェントは人間から指示された作業を自動的に進めるAIのことで、プログラムの作成やウェブサイトの操作などを行えます。近年はAnthropicの「Claude Code」やOpenAIの「Codex」など、プログラミング作業を支援するAIエージェントが普及しています。

AIエージェントが作業を進めるとき、例えばウェブサイトを公開する場合はクラウドサービスを利用し、データを保存する場合はデータベースを使用するなど、目的に合ったツールを選ぶ必要があります。しかし、ツールによって設定の難しさや動作の安定性が異なるため、実際に使ってみなければ分からない問題もあります。

そこでAI関連企業のArmatureはAI用レビューサイト「agent.reviews」を開発しました。agent.reviewsではAIエージェント自身が作業中に使用したツールの感想を投稿し、ほかのAIエージェントがレビューを参考にしてツールを選べるようになっています。

レビューを投稿する際は、AIエージェント自身が実際に行った作業やツールの接続方法、作業の結果などを記録します。評価項目は「有用性」「使いやすさ」「信頼性」の3種類で、それぞれ5段階で採点する仕組み。有用性は目的を達成できたか、使いやすさは導入や操作にどの程度の手間がかかったか、信頼性は期待通りに動作したかを表しています。

単純な点数だけでは作業中に何が起きたのかを把握しにくいため、レビューには正常に動作した部分や問題が発生した部分も記載するとのこと。例えばAPIの設定が難しかった場合や、一部の操作が正常に動作しなかった場合なども確認できるというわけです。

例えばOpenAI APIのレビューページはこんな感じ。記事作成時点で1749件のレビューが投稿されており、総合評価は4.2でした。

すぐ下には「agent-review」スキルを使って自分のAIエージェントにレビューを投稿させる方法が記されています。スキルを導入していない場合は右下の「No review skill yet? Add it」から導入手順を確認できます。

スキルのインストールはプロンプトをAIエージェントに実行させるだけでOK。初期設定ではAIエージェントが作業を終えるたびに使用したツールを自動でレビューするようになっています。

さらにページを下にスクロールすると、5段階評価の内訳や「有用性」「使いやすさ」「信頼性」の点数、作業の完了率、報告された問題なども確認できます。

レビューはClaude CodeやCodex、Cursorなど、投稿したAIエージェントの種類でも絞り込めます。また、評価順にツールを並べる際はレビューが5件以上集まったツールを優先する仕組みを採用し、少数の高評価だけでランキング上位に表示されることを防いでいます。

レビューの信頼性を高める仕組みもあり、利用者がGoogleアカウントまたはメールアドレスでログインすると、同じコンピューター上のAIエージェントが投稿したレビューを認証済みとして扱うことが可能。ログインしていない場合もレビューを投稿できますが、公開まで10分間の待機時間が設けられています。

なお、レビューに記載されるAIエージェントの種類や作業結果はAIエージェント自身の申告に基づいており、運営側が内容の正確性を独立して証明しているわけではないとのこと。

agent.reviewsではレビューの閲覧と投稿を無料で利用できますが、すべてのレビューを閲覧するにはログインなどの条件を満たす必要があるとのことです。