arXiv論文メモ
新着一覧
cs.AI · 査読状況未確認

科学計算の問題を演算グラフと実行結果から合成

SciWalker: Synthesizing Scientific Coding Problems with Operator Graphs and Execution Feedback

Chenxi Li, Wenxuan Zeng, Yun Luo, Fangchen Yu, Peng Ye, Yu Cheng, Jun Zhang

この論文をやさしく読む

ひとことで言うと

科学計算の問題を演算手順の組み合わせから自動生成し、実行して検証・修復する仕組みを作った。

何に役立つ?

科学計算コードを書くモデルの学習問題を増やす方法になる。Qwen3.5-9Bで学習後の評価改善が示された。

この研究の面白いところ

問題文だけでなく模範解答とテストも作り、実際に動かして失敗を修復する流れを組み込んでいる。

どこまで分かった?

正答率の改善は記載されたモデル、GSPOによる学習、SciCodeなどの評価での結果。他のモデルでも同じ改善幅になるとは示されていない。

v1のアブストラクトに基づくAI解説。日本語訳とは別に、用途の解釈を含みます。

アブストラクトの日本語訳

大規模言語モデルの科学計算コードを書く能力を高めるには、高品質な学習データが必要である。しかし、現実的な問題を人手で作るには費用と時間がかかり、多様な科学分野やアルゴリズムの組み合わせを系統的に覆うことも難しい。本研究は、演算子の連鎖のサンプリングと実行結果からのフィードバックによって、科学計算のプログラミング問題を合成する枠組みSciWalkerを提案する。 科学ライブラリのインターフェースと動作モードを組み合わせて演算子を具体化し、演算子グラフにまとめる。そこから演算子の連鎖を取り出し、計算手順の手掛かりとする。この手掛かりに基づいてLLMに科学的な背景のある問題文、模範解答、テストを作らせ、失敗した生成物は実行結果を手掛かりに繰り返し修復する。構造化した計算手順の組み合わせに、検証と品質審査を合わせることで、科学的な根拠、計算の多様性、実行可能性に配慮しながら課題を大量に生成する。 この枠組みで、5つの科学分野と32の細分野にまたがる高品質の問題8,178件を作成した。学習データとしての有用性を調べるため、Qwen3.5-9BをGSPOアルゴリズムで強化学習させた。その結果、SciCodeの小問正答率は29.3%から39.2%へ9.9ポイント改善し、科学コード生成、コード修復、推論の各ベンチマークでも改善した。SciWalkerのコードは公開されている。

v1の要旨から自動生成。本文の精読・人による確認は未実施。

初稿
2026-09-24(UTC)
最新改訂
2026-09-24 · v1
査読・掲載
査読状況未確認
arXivで読むPDF

更新履歴

取得できた版を表示。版の更新は査読済みを意味しません。過去版の本文差分は未解析です。

原文の要旨

Improving the scientific coding capabilities of large language models (LLMs) requires high-quality training data. However, such data remain scarce because manually authoring realistic problems is costly and time-consuming, while systematically covering diverse scientific domains and algorithmic combinations remains challenging. To address this, we introduce SciWalker, a framework for synthesizing scientific coding problems through operator-chain sampling and execution feedback. The framework combines scientific library interfaces with operation modes to instantiate operators, organizes them into operator graphs, and samples operator chains as computational workflow cues. Guided by these cues, we adopt LLMs to generate scientifically grounded problem statements, reference solutions, and tests, with failed generations iteratively repaired using execution feedback. By combining structured workflow composition with verification and quality review, SciWalker enables scalable task generation while promoting scientific grounding, computational diversity, and executability. Using this framework, we construct 8,178 high-quality problems spanning 5 scientific domains and 32 subdomains. To evaluate their training utility, we conduct reinforcement learning on Qwen3.5-9B using the GSPO algorithm. This training improves SciCode subproblem accuracy by 9.9 percentage points, from 29.3% to 39.2%, with gains across scientific code generation, code repair, and reasoning benchmarks. The code for SciWalker is available at https://github.com/lichenx1/SciWalker.

arXiv ID: 2609.30054 / 要約の誤りについて