分離スキルベンチマーク

同じユーザー入力でtanteki一式の導入効果を比較する。生成中にスキルが行った検査・改稿は含む。採点のtextlint結果は生成へ返さない。未発火も集計に残し、品質は両側が有効なペアで評価する。取得・コマンドの観測はログからの推定であり、スキルの遵守や全ファイルアクセスの証明ではない。失敗時にプロバイダーが利用量を返さなかった呼び出しのトークン数は不明。

有効ペア 1/1、採点済みペア 1

指標スキルなしスキルあり
計画した実行11
環境検証済み11
環境無効00
実行失敗00
本文取得をログで観測01
lintコマンドをログで観測00
採点対象11
採点用lint合格10
モデル呼び出し（失敗含む）13
入力トークン（報告された全実行分）660728728
出力トークン（報告された全実行分）12942897
意味基準合格4/54/5

条件が揃った月次請求CSVの出力手順 · 1回目

共通の原依頼
当番向けに、月次請求CSVを出力して経理へ渡す手順書を書いて。次は架空の請求サービスで確定した運用資料です。画面名、ボタン名、条件は変えず、この資料だけで手順を作成して。

作業は毎月第1営業日に当番が行う。対象は前月分。事前に経理が締め処理を終え、当番へ対象月を連絡する。当番には請求管理画面の出力権限と、社内共有フォルダ『経理受け渡し』への書き込み権限が必要。社内端末で請求管理画面にログイン済みの状態から始める。

請求管理画面の『月次請求』を開き、経理から連絡された対象月を選ぶ。対象月が前月と一致し、画面の状態が『締め済み』であることを確かめる。一致しない、または『締め済み』でなければその場で中止し、以降の操作は行わない。両方の確認を通過した場合だけ、画面に表示された請求件数を控える。『CSVを生成』を1回押す。状態が『生成完了』になったら『ダウンロード』を押す。状態が『生成失敗』になった場合、またはボタンを押してから5分経っても『生成完了』にならない場合は中止する。再生成はしない。

ダウンロードしたCSVを表計算ソフトで開く。列は『対象月』『請求先ID』『金額』の3列。ヘッダーを除く行数が控えた請求件数と一致し、全行の『対象月』が選んだ対象月と一致することを確認する。請求件数が0件ならヘッダーだけでよい。列、行数、対象月のどれかが違う場合や、ダウンロードまたはファイルを開く操作に失敗した場合は中止し、経理へ渡さない。

保存先は共有フォルダ『経理受け渡し』、ファイル名は請求-YYYY-MM.csvとする。YYYY-MMには対象月を入れる。対象月が2026年8月なら請求-2026-08.csv。保存する前に、共有フォルダに同名ファイルがあるか確認する。同名ファイルがあれば、その場で中止して保存しない。上書きはしない。同名ファイルがないことを確認してから、検査済みのCSVを指定した名前で1回だけ保存する。保存に失敗した場合もその場で中止する。保存できたファイルを共有フォルダから開き直し、先ほどと同じ3列、行数、全行の対象月を確認する。開き直せない場合や確認結果が違う場合は、その場で中止し、経理へ完了連絡をしない。この確認を通過した場合だけ、社内チャット『#経理連携』に対象月、請求件数、保存先を投稿して完了とする。

中止した場合は社内チャット『#請求運用』で運用担当へ連絡する。対象月、止まった操作、画面の状態または表示されたエラーを伝え、再実行せず運用担当の指示を待つ。請求先IDや金額の明細はチャットに貼らない。

スキルなし

valid

月次請求CSV出力・経理受け渡し手順書（当番向け）

1. 実施条件

  • 実施日：毎月第1営業日

  • 対象：前月分

  • 開始状態：社内端末で請求管理画面にログイン済み

  • 事前条件：経理が締め処理を終え、当番へ対象月を連絡済み

  • 必要な権限：

    • 請求管理画面の出力権限

    • 社内共有フォルダ『経理受け渡し』への書き込み権限

2. 請求CSVの生成とダウンロード

  1. 請求管理画面の『月次請求』を開く。

  2. 経理から連絡された対象月を選ぶ。

  3. 次の2点を確認する。

    • 選んだ対象月が前月と一致している。

    • 画面の状態が『締め済み』である。

  4. 対象月が前月と一致しない、または状態が『締め済み』でない場合は、その場で中止する。以降の操作は行わない。

  5. 両方の確認を通過した場合だけ、画面に表示された請求件数を控える。

  6. 『CSVを生成』を1回押す。

  7. 状態が『生成完了』になったら、『ダウンロード』を押す。

  8. 次の場合は中止する。再生成はしない。

    • 状態が『生成失敗』になった。

    • 『CSVを生成』を押してから5分経っても『生成完了』にならない。

3. ダウンロードしたCSVの検査

  1. ダウンロードしたCSVを表計算ソフトで開く。

  2. 列が次の3列であることを確認する。

    • 『対象月』

    • 『請求先ID』

    • 『金額』

  3. ヘッダーを除く行数が、控えた請求件数と一致することを確認する。

  4. 全行の『対象月』が、選んだ対象月と一致することを確認する。

  5. 請求件数が0件の場合は、ヘッダーだけでよい。

  6. 次の場合は中止し、経理へ渡さない。

    • 列が違う。

    • 行数が違う。

    • 『対象月』が違う。

    • ダウンロードに失敗した。

    • ファイルを開く操作に失敗した。

4. 共有フォルダへの保存

  1. 保存先を社内共有フォルダ『経理受け渡し』にする。

  2. ファイル名を 請求-YYYY-MM.csv とする。YYYY-MM には対象月を入れる。

    • 例：対象月が2026年8月の場合は 請求-2026-08.csv

  3. 保存する前に、共有フォルダ『経理受け渡し』に同名ファイルがあるか確認する。

  4. 同名ファイルがある場合は、その場で中止して保存しない。上書きはしない。

  5. 同名ファイルがないことを確認したら、検査済みのCSVを指定した名前で1回だけ保存する。

  6. 保存に失敗した場合は、その場で中止する。

5. 保存後の確認

  1. 保存できたファイルを共有フォルダ『経理受け渡し』から開き直す。

  2. 次の内容を確認する。

    • 列が『対象月』『請求先ID』『金額』の3列である。

    • ヘッダーを除く行数が、控えた請求件数と一致する。

    • 全行の『対象月』が、選んだ対象月と一致する。

    • 請求件数が0件の場合は、ヘッダーだけである。

  3. 開き直せない場合、または確認結果が違う場合は、その場で中止する。この場合、経理へ完了連絡をしない。

  4. 確認を通過した場合だけ、社内チャット『#経理連携』に次の内容を投稿して完了とする。

    • 対象月

    • 請求件数

    • 保存先

6. 中止時の連絡

  1. 中止した場合は、社内チャット『#請求運用』で運用担当へ連絡する。

  2. 次の内容を伝える。

    • 対象月

    • 止まった操作

    • 画面の状態または表示されたエラー

  3. 再実行せず、運用担当の指示を待つ。

  4. 請求先IDや金額の明細はチャットに貼らない。

本文外の注記

生成中の観測: スキル本文 なし／lintコマンド なし

完了後の採点用lint: 0件

採点用lintの指摘
[]
意味の採点と根拠

facts: 合格 実施条件から対象月・締め済み確認、件数記録、1回生成、検査、同名確認後の1回保存、開き直し確認、完了連絡までの必要事項を含む。3列、行数、対象月、0件時ヘッダーのみ、保存先・ファイル名も保持している。

grounding: 合格 『月次請求』『CSVを生成』『ダウンロード』、5分、チャット名、保存先、ファイル名を原資料どおりに記載し、再生成・上書き・独自の復旧手順を加えていない。

role: 合格 当番向けの前提、開始条件、操作、完了確認、中止条件および連絡先がそろった手順書全文である。

clarity: 不合格 生成失敗・5分未完了時の中止条件が『ダウンロード』の手順の後に置かれており、生成完了を待つ間に判断して次操作へ進まない順序が明確ではない。その他の中止時連絡、完了連絡の条件は明記されている。

economy: 合格 前提、操作、中止時対応を必要な節と番号付き手順で示し、不要な背景説明や重複はない。

スキルあり

valid

月次請求CSVの出力・経理受け渡し手順書

1. 概要

毎月第1営業日に、当番が前月分の月次請求CSVを出力し、検査済みファイルを共有フォルダ『経理受け渡し』へ保存して経理へ連絡する。

2. 作業前の確認

次の条件を満たしてから開始する。

  • 経理が締め処理を終えている。

  • 経理から対象月の連絡を受けている。

  • 請求管理画面の出力権限がある。

  • 社内共有フォルダ『経理受け渡し』への書き込み権限がある。

  • 社内端末で請求管理画面にログイン済みである。

対象は前月分である。

3. 請求CSVの生成とダウンロード

  1. 請求管理画面の『月次請求』を開く。

  2. 経理から連絡された対象月を選ぶ。

  3. 次の2点を確認する。

    • 対象月が前月と一致している。

    • 画面の状態が『締め済み』である。

  4. 2点とも確認できた場合だけ、画面に表示された請求件数を控える。

  5. 『CSVを生成』を1回押す。

  6. 状態が『生成完了』になったら『ダウンロード』を押す。

対象月が前月と一致しない場合、または状態が『締め済み』でない場合は、その場で中止する。『生成失敗』になった場合、または『CSVを生成』を押してから5分経っても『生成完了』にならない場合も中止する。再生成はしない。

4. ダウンロードしたCSVの検査

  1. ダウンロードしたCSVを表計算ソフトで開く。

  2. 列が次の3列であることを確認する。

    • 『対象月』

    • 『請求先ID』

    • 『金額』

  3. ヘッダーを除く行数が、控えた請求件数と一致することを確認する。

  4. 全行の『対象月』が、選んだ対象月と一致することを確認する。

請求件数が0件の場合は、ヘッダーだけでよい。

列、行数、対象月のいずれかが違う場合、またはダウンロードもしくはファイルを開く操作に失敗した場合は、その場で中止し、経理へ渡さない。

5. 共有フォルダへの保存

  1. 保存先を共有フォルダ『経理受け渡し』にする。

  2. ファイル名を 請求-YYYY-MM.csv とする。YYYY-MM には対象月を入れる。対象月が2026年8月の場合は 請求-2026-08.csv とする。

  3. 保存前に、共有フォルダに同名ファイルがないことを確認する。

  4. 同名ファイルがないことを確認できたら、検査済みのCSVを指定した名前で1回だけ保存する。

同名ファイルがある場合は、その場で中止して保存しない。上書きはしない。保存に失敗した場合も、その場で中止する。

6. 保存後の確認と完了連絡

  1. 保存できたファイルを共有フォルダから開き直す。

  2. 次の3点を確認する。

    • 列が『対象月』『請求先ID』『金額』の3列である。

    • ヘッダーを除く行数が、控えた請求件数と一致する。

    • 全行の『対象月』が、選んだ対象月と一致する。

  3. 3点を確認できた場合だけ、社内チャット『#経理連携』に対象月、請求件数、保存先を投稿する。

ファイルを開き直せない場合、または確認結果が違う場合は、その場で中止し、経理へ完了連絡をしない。

7. 中止時の連絡

中止した場合は、社内チャット『#請求運用』で運用担当へ連絡する。次の内容を伝える。

  • 対象月

  • 止まった操作

  • 画面の状態または表示されたエラー

再実行せず、運用担当の指示を待つ。請求先IDや金額の明細はチャットに貼らない。

本文外の注記

運用手順書（flow）として構成・条件・中止基準を整理しました。原資料の画面名、ボタン名、条件は変更していません。

生成中の観測: スキル本文 あり／lintコマンド なし

完了後の採点用lint: 1件

採点用lintの指摘
[
  {
    "ruleId": "no-doubled-conjunction",
    "line": 30,
    "column": 57,
    "message": "同じ接続詞（または）が連続して使われています。"
  }
]
意味の採点と根拠

facts: 合格 毎月第1営業日の当番作業、前月対象、事前条件・権限、生成から保存後確認・連絡までの順序、CSVの3列・行数・対象月確認、0件時の扱い、保存先と命名規則を含む。

grounding: 合格 画面名、ボタン名、5分、中止先・完了連絡先、保存先およびファイル名を変更せず、資料外のコマンド、再生成、上書き、復旧策、承認を追加していない。注記も本文の不足を補うものではない。

role: 合格 当番が前提、操作、確認、中止時の対応、連絡先を追える完成した手順書であり、質問や草稿だけで終わっていない。

clarity: 不合格 前月不一致・『締め済み』でない場合の中止条件が、生成・ダウンロード手順の後に置かれている。また、生成失敗・5分未完了の判断も『ダウンロード』指示の後であり、中止判断を次操作より先に行う順序として明確でない。

economy: 合格 必要な節と番号付き手順で簡潔に構成され、概要も作業内容の範囲にとどまる。詳細の重複や資料外の説明はない。