Snorkel AIとは

Snorkel AIは、Stanford AI Lab発のスタートアップとして約10年にわたりfrontier AIのデータ開発とベンチマーク構築を手がけてきた企業です。現在は「frontier AIラボ・研究チーム向けのexpert data development」を主軸に、汎用的なデータパイプラインでは対応しきれない専門領域のモデル性能改善を支援しています。

主要な提供内容

データ開発: タスク仕様の設計、キャリブレーション済みの専門家レビュー、ルーブリックとプログラマティックな採点、提供元・レビュー履歴の追跡（adjudication and provenance）、難易度帯やエッジケースをカバーするデータ生成までを一貫したプロセスとして提供します。

ベンチマーク・評価: Terminal-Bench、Senior SWE-bench、OSWorld 2.0、Agents' Last Examなど、コーディングエージェントや計算機操作エージェント向けの評価基盤を自社開発・公開しています。

Specialized agents: 汎用的なコパイロットではなく、特定業務ワークフロー向けに、環境に紐づいたタスクとプログラマティックな合否基準で評価しながら構築するカスタムAIエージェントを提供します。

Open Benchmarks Grants: オープンソースのデータセット・ベンチマーク・評価研究を支援する300万ドル規模の助成プログラムを運営しています。

想定ユーザー

frontier AIラボの研究チームや、専門領域向けにモデル・エージェントを開発するAI開発企業に向いています。料金は公式サイトに公開情報がなく、個別見積もりの営業主導プロセスとみられます。