記事のサマリー(TL;DR)
- サイボウズは2026年8月開催のKubernetesネットワークインターンコースにおいて、インターンの小野さん(@no2ca)がCiliumのIPAM機能の一つであるMulti-Pool IPAMが、オンプレミスKubernetes基盤Necoのクラスタでも動作するかを検証しました。
- 検証の結果、Multi-Pool IPAMは現行のCNIプラグインCoilが担うIPAM機能、およびEgress NATとの組み合わせで代替可能であることが確認されました。
- 一方で、cilium-agentの再起動時にPod CIDRの経路が取り下げられてしまう制限が判明し、これに対する解決策としてBGPのGraceful Restartを用いる方法と、カーネルに経路を書き込むカスタムコントローラを用いる方法の2つが検証されました。
詳細
背景
サイボウズは、Necoというオンプレミスのkubernetes基盤を運用しています。現在Necoでは、CoilとCiliumという二つのCNIプラグインを用いてKubernetesクラスタ内外の通信を実現しています。それぞれの役割は次のとおりです。
Coil:Coilはサイボウズがオープンソースソフトウェア(OSS)として開発しているCNIプラグインで、主に以下の二つの役割を担っています。
- プライマリCNIとしてのPodのIPAM
- Kubernetesクラスタ内のPodからクラスタ外に通信するためのNAT(Egress NAT)
また、CoilはBGP speakerであるBIRDと連携することで、クラスタ内でPodのIPアドレスを直接用いたルーティングを可能にしています。
Cilium:CiliumはCNCF Graduated Projectの一つで、eBPFをデータプレーンに活用したCNIプラグインです。Service MeshやIPAM、LoadBalancerなど幅広い機能を備えていますが、Necoでは主に以下の三つの役割を担っています。
- クラスタ外からクラスタ内に通信するためのL4 LoadBalancer
- クラスタ内外との通信に適用されるNetworkPolicy
- クラスタ内通信の高速な負荷分散(kube-proxy replacement)
課題のモチベーション
現在Necoでは、クラスタ内外との通信のパフォーマンスを最適化する取り組みを進めています。しかし、現状のCoilをプライマリCNIとした構成では、いくつかのCiliumの最適化機能が使えないことがわかっており、将来的にプライマリCNIをCoilからCiliumに移行することが検討されています。
そこで今回の課題では、計画の第一歩としてCoilが担当しているIPAM機能をCiliumのMulti-Pool IPAMで代替できるかを検証しました。
検証環境について
従来のNecoの開発フローでは、この種の検証作業はdctestと呼ばれるデータセンターを仮想化した環境を使って行われていました。しかし、dctestは起動に1時間以上かかったり、ローカルマシンでは動かなかったりするため、2週間という短い期間で試行錯誤を繰り返したい今回の課題には不向きでした。
そこで今回のインターンでは、前年に開発したNecoのネットワーク構成をkindクラスタで再現した環境を使って検証作業が進められました。
Cilium Multi-Pool IPAM動作確認
CoilのIPAMには、Podに割り当てるアドレスプールをNamespaceごとに指定できる機能があります。この機能によって、外部ネットワークに接続可能なIPを特定のNamespaceのPodに割り当てるといった運用が可能です。
今回検証したCiliumのMulti-Pool IPAMも同様に、Namespaceごとに異なるCIDRでPodへのIPアドレス割り当てが可能です。Coilとほぼ同じようなマニフェストで複数のPod CIDRを定義できます。
CoilのAddressPoolにおけるblockSizeBitsと、CiliumのCiliumPodIPPoolにおけるmaskSizeは記法が異なりますが、どちらもPod CIDRから切り出され各Nodeに割り当てられるアドレスブロックの大きさを示しています。記事中の設定例の場合、/27のアドレスブロックが切り出されます。
Namespaceにannotation(coil.cybozu.com/poolまたはipam.cilium.io/ip-pool)を付与することで、そのNamespaceのPodに割り当てるIPのPod CIDRを指定できます。
実際に、Ciliumの公式ドキュメントに記載された設定を有効化し、検証用kindクラスタでMulti-Pool IPAMを起動したところ、異なるNamespaceのPodに対しそれぞれのPod CIDRからIPが割り当てられていることが確認されました。
しかし、Pod同士の疎通性を確認したところ、これだけでは同一Node上のPod同士は通信できる一方、異なるNode上のPod同士は通信できませんでした。検証用kindクラスタでは、Node間の通信は上流のルータコンテナを経由する必要があり、そのルータコンテナに各Nodeに割り当てられたPod CIDRのアドレスブロックへの経路情報が登録されていないことが、Nodeを跨いだPod間通信ができない原因と考えられました。
CiliumのBGP Control PlaneからPod CIDRを広報する
検証用kindクラスタにはBGPネットワークが構築されており、各Node上のBIRDが上流のルータと経路交換をしています。このBGPネットワークを使って各Nodeに割り当てられたPod CIDRのアドレスブロックについて経路交換することで、ルータコンテナが別Node宛のパケットを正しく転送できるようになります。
そのためには各Node上のBIRDにその Nodeに割り当てられたPod CIDRのアドレスブロックの経路情報を知らせる必要がありますが、その方法はいくつか考えられます。
例えばCoilの場合は、coildというDaemonSet Podが空いているFIBテーブルに経路情報を書き出し、BIRDがそれを読み込む構成になっています。
Ciliumには特定のFIBテーブルに経路を書く機能がないため、cilium-agentに内蔵されたBGP speakerを使います。BGP Control Planeという機能を用いることで、各Nodeのcilium-agentとBIRDをlocalhost経由でBGP接続し、cilium-agentからBIRDに対し経路を広報することが可能になります。
検証用kindクラスタでは、L4LBと共にBGP Control Planeが有効化されており、BIRDとのBGP接続が設定されています。そのため今回は、公式ドキュメントの手順を参考にMulti-Pool IPAMを連携させるだけで、検証用kindクラスタのBGPネットワークに各Nodeのアドレスブロックを経路広報することができました。(BGP Control Planeの詳細な使い方については公式ドキュメントが参照されています)
この設定を追加した状態でNodeを跨いだ通信を試したところ、疎通が確認されました。
Multi-Pool IPAMとCoil Egress NATを組み合わせて動作する
次に、Coilのもう一つの機能であるEgress NATがMulti-Pool IPAMでも動作するかが検証されました。
CoilのEgress NATは、Pod IPのままでは直接通信できないネットワークへの通信を、NATによって可能にするための機能です。例えば、Podからインターネットへ通信する場合に利用できます。
Egress NATを利用するには、まずNAT処理が必要な対象アドレス帯を定義するEgressというカスタムリソースを作成します。これにより、NAT処理を行う中継Podが作成されます。次に、Egress NATを利用するPodに、使用するEgressリソースを指定するannotationを付与します。これにより対象のPodから通信が発生すると、そのパケットはカプセル化されて中継Podへ転送されます。中継Podはカプセル化を解除した後、元のパケットに対してNAT処理を行い、元の宛先のネットワークへ転送します。
このNAT処理では、NATを行う中継PodのIPが変換後の送信元IPとして使用されます。そのため、例えばNATを利用して外部ネットワークとの通信を実現する場合は、中継Podに外部ネットワークと通信可能なIPを割り当てる必要があります。
現状のNecoでは、中継PodのIPはCoilのIPAMによってパブリックIP用のPod CIDRから割り当てられています。しかし、CoilのIPAMとEgress NATは独立した仕組みとなっており、実装上の依存関係はありません。そこで今回の検証では、IPの割り当てを担うCoilのIPAMをMulti-Pool IPAMに置き換えた場合でも、Egress NATが問題なく動作するかが確認されました。
最初の検証でも確認したとおり、Multi-Pool IPAMではCoilと同様にNamespace単位でPod CIDRを指定できます。そのため、新たにCiliumPodIPPoolリソースを作成し、中継PodのNamespaceに設定していたCoilのPod CIDRを指定するためのannotationをMulti-Pool IPAMのものに置き換えるだけで、Egress NATが問題なく機能することが確認されました。
cilium-agentの再起動に伴いPod CIDRの経路が取り下げられてしまう問題
これまでの検証で、Multi-Pool IPAMでもCoilと同等の通信が可能ということがわかりました。次に、実際の運用時の操作を意識した通信の継続性について確認されました。具体的には、cilium-agentのPodを再起動した際に、そのNode上のPodの通信が継続されるかという点です。
Coilの場合、coildのPodを再起動しても、Pod CIDRの経路情報はFIBに残っているためBGPネットワークから取り下げられることはなく、そのNode上のPodは通信を継続できます。
しかし、Multi-Pool IPAMの場合、BGP speakerがcilium-agentに内蔵されているため、cilium-agentを再起動した場合、cilium-agentとBIRDの間のBGP接続が切れ、Pod CIDRの経路が取り下げられます。経路が取り下げられると、最初の検証からもわかるとおり、そのNode上のPodは他Node上のPodと通信できなくなります。
cilium-agent Podの再起動は、cilium-agentを更新する際に避けて通れない操作です。また、場合によっては新しいPodがReadyになるまで1分以上かかるため、この現象は許容できないとされています。
この問題に対して2つの解決策が検証されました。
1つ目:Cilium のGraceful Restartを用いた対策
BGP Control Planeに実装されているBGPのGraceful Restartという機能を使用する方法です。Graceful Restartは、BGPセッションが終了したあとも設定したタイムアウト期間だけ、接続先のBGP speakerで経路を保持し続ける機能です。
このタイムアウト値を適切に設定することで、cilium-agentが再作成されるまでの間もBIRD側でcilium-agentから広報されていた経路を維持し、上流のBGPネットワークに広報し続けることができました。ただし、クラスタ内のPod数などに応じてcilium-agentの起動にかかる時間が変動するため、実際に運用する場合は十分に長いタイムアウト値を設定する必要があるとされています。
2つ目:カーネルに経路を書き込むカスタムコントローラを用いた対策
Coil同様に空いているFIBに経路を書き込み、BIRDからインポートする構成です。この構成を実現するには、そのNodeに割り当てられたPod CIDRのアドレスブロックを検知し、FIBに経路を登録する仕組みを用意する必要があります。Multi-Pool IPAMでは、CiliumNodeというCilium上でNodeに関する情報を管理するカスタムリソースに、そのNodeに割り当てられたアドレスブロックが記録されています。このCiliumNodeリソースをwatchするカスタムコントローラを実装することで、Coil同様の仕組みが実現されました。
別途DaemonSetを用意したり、cilium-agentに実装を加えることも検討されましたが、今回は時間が限られていたため、コントローラの作りが比較的シンプルでFIBへの書き込み処理がすでに実装されていたcoildにこの仕組みが追加されました。経路を書き込むFIBは、coildがCoilのIPAMで使っていたものが再利用されました。
BGP Control PlaneからPod CIDRを広報する機能を無効化しつつこの仕組みを有効化したところ、cilium-agentを再起動している間も経路広報が継続していることが確認されました。
まとめ
今回の検証によって、CiliumのMulti-Pool IPAM機能がCoilのIPAM機能を代替できることがわかりました。また、Multi-Pool IPAM特有の制限に関しても対応策が複数あることがわかりました。この結果はプライマリCNI移行の検討における第一歩になったとしています。