解決できる課題 事業紹介トップ 経営データ分析基盤 AI導入・業務改善 AI 業務アプリ 基幹システムのWeb化・段階移行 複雑な SaaS を専用 UI に Shopify Plus 移行・拡張 生成AI 活用(Multi AI) SEO / AIO / 広告運用 顧問・アドバイザリ インフラ構築 PHP脆弱性対策・更新 WordPressからEmDashへの移行 自社メディア投資・開発
AI導入 AI導入・業務改善 ChatGPTの社内導入 OpenAI Codex導入 AI運用・定着 Claude / MCP 総合 Claude Cowork Claude Code 導入支援 Claude Code 使いこなし支援 Claude Design MCP 開発・サーバー構築
EC構築・移行 Shopify Plus トップ EC-CUBEからShopifyへの移行 大手カートからの移行 Shopify 通常プラン EC サイト構築
実績
業界ニュース 業界ニュース トップ AI ニュース └ Claude └ ChatGPT・Codex └ Gemini └ その他 Shopify ニュース SaaS ニュース お知らせ(自社発信)
会社情報 相談する
2026.11.01

Fuzzing+差分テストでKVSの非互換を検出 Cybozu基盤移行の事例

記事のサマリー(TL;DR)

  • CybozuのCloud Platform部は、クラウドサービス「cybozu.com」の提供基盤をVMベースの旧基盤からKubernetesベースの新基盤(Neco)へ移行する取り組みの一環として、セッションストアに使われているMemcached互換KVS「yrmcds」を新基盤に移行するプロジェクトを進めている。
  • yrmcdsの振る舞いを完全に記述したドキュメントが存在しないため、単体テストだけでは新規実装との互換性確認が困難であり、サマーインターンの岡田さんが課題として、Fuzzingと差分テストを組み合わせた検証手法とツールを実装した。
  • このツールを用いてyrmcds(Oracle)とPoCの新規KVS(SUT)を検証した結果、非互換・不具合が5件見つかり、そのうち2件はドキュメントに記載のない振る舞いの非互換と、複数操作の組み合わせで再現するクラッシュ不具合だった。原因解析にはAIも活用された。

詳細

背景:KVS移行における課題

Cloud Platform部の萩原氏による記事。Cloud Platform部では、Cybozuのクラウドサービス「cybozu.com」の提供基盤を、VMベースの旧基盤からKubernetesベースの新基盤(Neco)へ移行するミッションに取り組んでいる。現在は、Cybozuのセッションストアとして旧基盤上にホストされているMemcached互換のKVSを、新基盤に移行するプロジェクトを進めている段階である。

yrmcdsはCybozuがOSSとして公開しているMemcached互換のKVSで、通常のMemcachedの機能に加え、レプリケーションやサーバサイドロックといった拡張機能を提供する。yrmcdsの移行では、ForestとNecoの基盤間の差分を克服しつつ、現行のyrmcdsと同等の振る舞いを実現する必要がある。しかし、yrmcdsの振る舞いを完全に記述したドキュメントはなく、基本的な振る舞いはMemcachedやyrmcdsのドキュメントに記載があるものの、細かい挙動については記されていない。

新しい実装がyrmcdsと同等の振る舞いを実現しているかを確認する方法として、仕様を単体テストに書き起こす手法は有効だが網羅は困難であり、細かい挙動を事前に把握しなくても機械的に比較して非互換を検出できる方法が求められた。この課題はサマーインターンの岡田さんが担当し、Fuzzingと差分テストを組み合わせたアプローチを採用した。

Fuzzing+差分テストによる非互換検出

Fuzzingは、実装に多様な入力を与え、クラッシュや予期しない挙動を検出する手法である。通常のテストでは開発者が入力と期待結果を考えてテストケースを作成するのに対し、Fuzzingでは入力生成を自動化することで手作業では思いつきにくい組み合わせも試せる。ランダムな入力のみで仕様を完全に網羅することは保証できないが、通常のテストと組み合わせることで検証をより堅牢にできる点が有用とされている。

差分テストは、異なる2つのシステムに同じ入力を与えて出力を比較するテストである。比較基準となるシステムの出力を利用することで、期待値を手書きせずに検証対象システムとの挙動の違いを検出できる。この記事では、比較基準となるシステムを「Oracle」、検証対象のシステムを「SUT(System Under Test)」と呼び、yrmcdsをOracle、新規KVSをSUTとして同じ操作列を入力し、レスポンスの違いを非互換の候補として検出する。

この手法には2つの課題がある。1つ目は、Fuzzingで差分を検出した操作列に、差分と関係のない操作が大量に含まれることがあり解析コストが高くなる点。2つ目は、差分テストで検出した差分が修正すべき非互換か許容される差分かを、出力の違いだけでは判断できない点である。これを見極めるには差分に関係する仕様を個別に確認する必要があるが、検出した差分が個別に確認できる件数であれば、仕様全体を事前に把握せずとも差分に関係する部分を1つずつ調べて対処できると考え、まず差分検出を目標に着手した。

ツールの機能

インターン課題として実装されたツールは、以下の機能を持つ。

  • 目的に応じた生成戦略で入力となる操作列を生成
  • 同じ操作列をyrmcdsと新規KVSに与えて出力を比較
  • レスポンスの不一致を確認した場合、その操作と不一致に至るまでの操作列をYAMLファイルに記録してテストを中断
  • YAMLに書き出した操作列をリプレイ

操作列の生成では、操作や値をランダムに選ぶ戦略に加え、検証シナリオに沿った操作列の一部をランダム化する戦略も用意されている。単純なランダム生成では実際の利用実態と乖離するため、Keyの選び方や状態の追跡に工夫を加えている。また、移行後の新規KVSはPrimaryとReplicaから成るクラスタ構成での運用が想定され、通常運用でPrimaryの計画的な切り替えも起こるため、この運用に寄せた検証のための生成戦略も用意された。

出力の比較では、OracleとSUTに同じ操作を行い、差分があれば非互換の候補として検出する。差分が発生した操作とそれ以前の操作列をYAMLファイルに保存してテストを中断する。ただし今回の検証では、検証対象のSUTがPoCであり、検出した非互換や不具合に積極的に対応する方針ではなかったため、確認済みの差分は当面の検出対象から除外する特例を設けた。記事では、こうした除外機能は今後の検証で既知の許容差分による停止を避けるために重要度が高くなると述べられている。

リプレイ機能は、非互換検出時に書き出したYAMLファイルをツールに渡すことで操作列を再現でき、非互換の再現や修正後の解消確認に役立つ。

ツールの設計

ツールは、Generator・Executor(Oracle用、SUT用)・Checkerという構成を持つ。Generatorが目的に応じた戦略に沿って操作列を生成し、Executorがその操作列をOracleとSUTそれぞれに適用、Checkerが両者の出力を比較して差分の有無を判定する。差分を検出した場合の操作列保存と実行中断は、ツール全体の実行制御で行う。

実際の利用に近い操作列を生成するための工夫

Keyの空間の制限:単純にランダムで操作列を生成すると、Keyが毎回ランダムに選ばれるため「KeyAをAddしてKeyBをGet」のように過去の操作と関連しない操作列になりやすく、実際の使われ方(「KeyAをAddしてKeyAをGet」など)と乖離する。完全にKeyを固定する方法もあるが見落としのおそれがあるため、ランダムに生成したKeyをプールに保持し、そこからKeyを選択することでKeyの空間を狭め、同じKeyへの複数回操作を生成できるようにした。

セマンティクスを意識したコマンド列の生成:完全ランダムな生成では「Keyが存在しないのにTouchでExpireの設定を試みる」「Keyを作成しているのにAddでKeyの作成を試みる」といった操作列になり実際の利用と乖離する。より重点的に検証したいのは、Add→TouchのようなOracleのセマンティクス上意味のある操作列である。固定列として直接生成すると、途中に別コマンドが挟まった際のバグを見落とすおそれがあるため避け、Keyの存在状態に応じてAddかTouchかを選ぶ方式を採用した。このため、OracleへのコマンドのレスポンスをGeneratorにフィードバックする仕組みを導入し、Addが成功すればそのKeyが存在、Deleteが成功すればそのKeyが存在しない、と状態を追跡。Keyが存在している場合はAddを生成せず、存在していない場合はTouchを生成しないというルールで、状態に合わないコマンドの生成を抑制した。

yrmcds固有のセマンティクスの検証:yrmcdsはサーバサイドロックという独自機能を持つ。これはコネクションに紐付いて獲得されるKeyへのロック機能で、ロックを獲得したコネクション以外からのValue更新を禁止する(読み取りとTouchによるExpire更新は可)、コネクションが切れるとロックを解放する、ロックされたKeyはExpireやメモリ不足によるEvictionでも削除対象としない、という振る舞いを持つ。この検証のため、ExecutorにConnect/Disconnectという操作を追加し、複数コネクションを同時に保持できるようにした。ConnectはOracleやSUTへの新規コネクション確立、Disconnectは切断を行い、後続の命令はコネクションIDを指定して任意のコネクションから実行できる。

さらにロック状態の追跡も導入し、KeyごとにロックしているコネクションをLock/Unlockの成功結果に応じて記録。この状態をもとに、自身のコネクションがロックを保持している場合はロックの再獲得/解放・Quit・コネクション切断を、他のコネクションが保持している場合はロックの獲得/解放を、どのコネクションもロックしていない場合はロックの獲得を候補とする操作選択を行い、ロック状態を考慮した操作列を生成できるようにした。

Switchoverしたときの振る舞いの検証:本番環境のyrmcdsはPrimaryとReplicaから成るクラスタとして運用されており、通常運用ではPrimaryの計画的な切り替え(Switchover)が想定される。今回の検証ではOracleとしてスタンドアロン構成のyrmcdsを使用し、SUTはクラスタ構成で検証した。Switchover時に書き込み済みデータが失われないことと、サーバサイドロックが期待どおりに扱われることを確認するため、検証用操作としてCoordinatedFailover、Wait、RetryConnectをExecutorに追加した。CoordinatedFailoverはSUT側で実際にPrimaryを切り替え、Oracle側では既存コネクションを切断する(脚注:OracleのyrmcdsはSwitchoverをサポートしていないため、コネクション切断によりSwitchoverを実行したかのように見せ、切断時のロックの扱いも比較できるようにしている)。その後Waitで指定時間待機し、RetryConnectで再接続して検証を再開する。このシナリオに対応するGeneratorは、各Keyへの書き込み後、ランダムに選んだ一部のKeyをロックし、Switchoverと再接続の後に全Keyを読み取ってデータの保持を確認、さらにロックの獲得を試みることでSwitchover前のロックが期待どおり解放されているかも確認する操作列を生成する。

検証結果

実装されたツールを用いて、yrmcds(Oracle、スタンドアロン構成)とPoCの新規KVS(SUT、クラスタ構成)を検証した結果、非互換や不具合が5件見つかった。このうちFuzzing+差分テストが検出に役立った2件が紹介されている。

ドキュメントに記述されていない振る舞いについての非互換:存在しないKeyに対してバイナリプロトコルでReplaceを実行すると、OracleではNOT_FOUND、SUTではNOT_STOREDというステータスが返る非互換を検出した。バイナリプロトコルでのコマンドのエラー時の扱いはMemcachedやyrmcdsのドキュメントに記載がなく、各システムの単体テストでは期待する結果が返ってくるため、独立したテストだけでは検出が難しいとされる。記事では、ドキュメントでは判別できない非互換を実装に踏み込まずに検出できたことに価値があると述べられている。

複数操作の組み合わせで再現する異常系の不具合:SUTで、存在しないKeyに対してLockを試みた後、同じコネクションでUnlockAllを実行するとクラッシュする不具合が見つかった。これはロック獲得成功後の解放ではなく、存在しないKeyへのLock試行とその後のUnlockAllの組み合わせで再現する不具合である。単体テストではLockとUnlockAllを個別にテストしがちで、複数操作の組み合わせで再現する不具合の発見は難しく、統合テストやE2Eテストでも操作の組み合わせを網羅的に検証することは難しいため、異常系のケースはテストから漏れやすいとされる。この不具合は、Fuzzingによる操作の組み合わせの生成と、差分テストによる期待値を手書きしないOracleとの比較によって検出できたと説明されている。

見つけた不具合をAIで解析

非互換や不具合の原因調査には、ツールが出力するリプレイファイル(YAML)を活用した。ただしFuzzingでランダムに生成した操作列には、検出した非互換・不具合と関係のない操作が大量に含まれることがあり、再現条件の究明コストが高くなる課題があった。そこでAIを用い、リプレイファイルとSUTの実装を一緒に解析させることで、非互換を再現するためのより短い操作列の生成や、一部の非互換の原因推測ができたとしている。記事では、手法自体が抱える課題をAIの活用で改善できたことが印象的だったと述べられている。

まとめ

記事では、仕様を網羅的に記述することが困難なシステムと互換性のある新規システムを実装する場合において、Fuzzing+差分テストの手法が効果的なアプローチの一つになり得るとしている。単体テスト・統合テスト・E2Eテストといった従来のテストピラミッドも依然として有用だが、それらが取りこぼしがちな不具合を検出できることから、従来の手法と組み合わせることでソフトウェア品質の向上につながると述べられている。また、本手法をAIと組み合わせることで、非互換の発見にとどまらず原因の解明まで行えたとしている。

おわりに

筆者は、サマーインターンに参加した岡田さんが課題の本質を見抜き、検証ツールの設計・実装・検証までを行ったことに謝意を述べている。また、Cloud Platform部のチームが自社基盤上でのシステム開発に取り組んでいるとして、採用情報への案内で記事を締めくくっている。