gobgpの導入

Author: micho7

cmd/db-controller/cli.go

@@ -17,6 +17,7 @@ package main
 import (
 	"flag"
 	"fmt"
+	"strings"
 )
 
 var (
@@ -34,6 +35,16 @@ var (
 	globalInterfaceNameFlag string
 	// chainNameForDBAclFlag is a cli-flag that specifies the nftables chain name for DB access control list.
 	chainNameForDBAclFlag string
+	// bgpAsNumberFlag is a cli-flag that specifies the as number of ours
+	bgpAsNumberFlag int
+	// bgpServingPortFlag is a cli-flag that specifies the port of bgp
+	bgpServingPortFlag int
+	// bgpKeepaliveIntervalSecFlag is a cli-flag that specifies the interval seconds of bgp keepalive
+	bgpKeepaliveIntervalSecFlag int
+	// bgpPeerAddressesFlag is a cli-flag that specifies comma sparated peers of bgp.
+	bgpPeerAddressesFlag string
+	// gobgpGrpcPortFlag is a cli-flag that specifies port of gobgp gRPC
+	gobgpGrpcPortFlag int
 
 	// mainPollingSpanSecondFlag is a cli-flag that specifies the span seconds of the loop in main.go.
 	mainPollingSpanSecondFlag int
@@ -60,12 +71,17 @@ func parseAllFlags(args []string) error {
 	fs.StringVar(&globalInterfaceNameFlag, "global-interface-name", "eth0", "the interface name of global")
 	fs.StringVar(&chainNameForDBAclFlag, "chain-name-for-db-acl", "mariadb", "the chain name for DB access control")
 	fs.StringVar(&dbReplicaUserNameFlag, "db-replica-user-name", "repl", "the username for replication")
+	fs.StringVar(&bgpPeerAddressesFlag, "bgp-peer-addresses", "", "the peers of bgp")
 
 	fs.IntVar(&mainPollingSpanSecondFlag, "main-polling-span-second", 4, "the span seconds of the loop in main.go")
 	fs.IntVar(&httpAPIServerPortFlag, "http-api-server-port", 54545, "the port the http api server listens")
 	fs.IntVar(&prometheusExporterPortFlag, "prometheus-exporter-port", 50505, "the port the prometheus exporter listens")
 	fs.IntVar(&dbReplicaSourcePortFlag, "db-replica-source-port", 13306, "the port of primary as replication source")
 	fs.IntVar(&dbServingPortFlag, "db-serving-port", 3306, "the port of database service")
+	fs.IntVar(&bgpAsNumberFlag, "bgp-as-number", 65001, "the as number of ours")
+	fs.IntVar(&bgpServingPortFlag, "bgp-serving-port", 179, "the port of bgp")
+	fs.IntVar(&bgpKeepaliveIntervalSecFlag, "bgp-keepalive-interval-sec", 3, "the interval seconds of bgp keepalive")
+	fs.IntVar(&gobgpGrpcPortFlag, "gobgp-grpc-port", 50051, "the listen port of gobgp gRPC")
 
 	fs.BoolVar(&enablePrometheusExporterFlag, "prometheus-exporter", true, "enables the prometheus exporter")
 	fs.BoolVar(&enableHTTPAPIFlag, "http-api", true, "enables the http api server")
@@ -83,6 +99,11 @@ func validateAllFlags() error {
 		return fmt.Errorf("--prometheus-exporter-port must be the range of uint16(tcp port)")
 	}
 
+	peers := strings.Split(bgpPeerAddressesFlag, ",")
+	if len(peers) != 2 {
+		return fmt.Errorf("insufficient bgp peer addresses: %s", bgpPeerAddressesFlag)
+	}
+
 	return nil
 }
 

cmd/db-controller/main.go

@@ -33,6 +33,7 @@ import (
 	"github.com/labstack/gommon/log"
 	"github.com/prometheus/client_golang/prometheus/promhttp"
 	apiv0 "github.com/sakura-internet/distributed-mariadb-controller/cmd/db-controller/api/v0"
+	"github.com/sakura-internet/distributed-mariadb-controller/pkg/bgpserver"
 	"github.com/sakura-internet/distributed-mariadb-controller/pkg/controller"
 	"github.com/sakura-internet/distributed-mariadb-controller/pkg/nftables"
 	"github.com/vishvananda/netlink"
@@ -66,13 +67,45 @@ func main() {
 		panic(err)
 	}
 
-	// prepare controller instance
+	// get my global ip address
 	myHostAddress, err := getNetIFAddress(globalInterfaceNameFlag)
 	if err != nil {
 		panic(err)
 	}
 	logger.Debug("host address", "address", myHostAddress)
 
+	// create context
+	ctx, cancel := context.WithCancel(context.Background())
+	defer cancel()
+
+	// start bgpserver
+	logger.Debug("starting bgpserver", "hostaddress", myHostAddress)
+	bgpServerConnect := bgpserver.NewDefaultConnector(
+		logger,
+		bgpserver.WithAsn(uint32(bgpAsNumberFlag)),
+		bgpserver.WithRouterId(myHostAddress),
+		bgpserver.WithListenPort(int32(bgpServingPortFlag)),
+		bgpserver.WithGrpcPort(gobgpGrpcPortFlag),
+	)
+	if err := bgpServerConnect.Start(ctx); err != nil {
+		panic(err)
+	}
+
+	// add peers to bgpserver
+	peers := strings.Split(bgpPeerAddressesFlag, ",")
+	if len(peers) != 2 {
+		panic("insufficient bgp peer addresses")
+	}
+	for _, v := range peers {
+		logger.Debug("adding peer", "neighbor", v)
+		bgpServerConnect.AddPeer(
+			v,
+			uint32(bgpAsNumberFlag),
+			uint32(bgpServingPortFlag),
+			uint64(bgpKeepaliveIntervalSecFlag),
+		)
+	}
+
 	dbReplicaPassword, err := readDBReplicaPassword(dbReplicaPasswordFilePathFlag)
 	if err != nil {
 		panic(err)
@@ -87,14 +120,11 @@ func main() {
 		controller.WithDBReplicaPassword(dbReplicaPassword),
 		controller.WithDBReplicaSourcePort(uint16(dbReplicaSourcePortFlag)),
 		controller.WithDBAclChainName(chainNameForDBAclFlag),
+		controller.WithBgpServerConnector(bgpServerConnect),
 	)
 
 	// start goroutines
-	ctx, cancel := context.WithCancel(context.Background())
-	defer cancel()
-
 	wg := new(sync.WaitGroup)
-
 	wg.Add(1)
 	go func(ctx context.Context, wg *sync.WaitGroup, c *controller.Controller) {
 		defer wg.Done()

docs/operation-guide.md

@@ -37,8 +37,7 @@ Sakura-DBCは、内部的に以下の4つの状態を持ち、状況に応じて
 ## BGP経路の属性
 
 Sakura-DBCは、BGP経路のCommunity属性として表現することで、他のノードに自身の状態を広告します。
-
-vtyshコマンドを経由してFRRouting bgpdの設定を変更し、経路広告を行います。
+データベースサーバでは、デーモンとして起動するdb-controllerにgobgpが組み込まれており、BGPピアを確立します。
 
 | 状態      | BGP Community |
 | --------- | ------------- |
@@ -53,16 +52,16 @@ vtyshコマンドを経由してFRRouting bgpdの設定を変更し、経路広
 Sakura-DBCを起動するには以下のようにコマンドを入力します。
 
 ```
-[root@test-db1 ~]# systemctl start sakura-controller
-[root@test-db1 ~]# systemctl status sakura-controller
-● sakura-controller.service - Database Controller
-   Loaded: loaded (/etc/systemd/system/sakura-controller.service; enabled; vendor preset: disabled)
+# systemctl start db-controller
+# systemctl status db-controller
+● db-controller.service - Database Controller
+   Loaded: loaded (/etc/systemd/system/db-controller.service; enabled; vendor preset: disabled)
    Active: active (running) since Thu 2023-07-13 16:56:21 JST; 4s ago
- Main PID: 1391344 (sakura-controll)
+ Main PID: 1391344 (db-controller)
     Tasks: 9 (limit: 24876)
    Memory: 5.5M
-   CGroup: /system.slice/sakura-controller.service
-           └─1391344 /root/distributed-mariadb-controller/bin/sakura-controller --log-level info --db-repilica-password-filepath /root/.db-replica-password
+   CGroup: /system.slice/db-controller.service
+           └─1391344 /root/distributed-mariadb-controller/bin/db-controller --log-level info --db-repilica-password-filepath /root/.db-replica-password
 <snip>
 ```
 
@@ -71,12 +70,12 @@ Sakura-DBCを起動するには以下のようにコマンドを入力します
 Sakura-DBCを停止するには以下のようにコマンドを入力します。
 
 ```
-[root@test-db1 ~]# systemctl stop sakura-controller
-[root@test-db1 ~]# systemctl status sakura-controller
+# systemctl stop db-controller
+# systemctl status db-controller
 ● sakura-controller.service - Database Controller
-   Loaded: loaded (/etc/systemd/system/sakura-controller.service; enabled; vendor preset: disabled)
+   Loaded: loaded (/etc/systemd/system/db-controller.service; enabled; vendor preset: disabled)
    Active: inactive (dead) since Thu 2023-07-13 16:55:35 JST; 7s ago
-  Process: 694 ExecStart=/root/distributed-mariadb-controller/bin/sakura-controller --log-level info --db-repilica-password-filepath /root/.db-replica-password (code=exited, status=0/SUCCESS)
+  Process: 694 ExecStart=/root/distributed-mariadb-controller/bin/db-controller --log-level info --db-repilica-password-filepath /root/.db-replica-password (code=exited, status=0/SUCCESS)
  Main PID: 694 (code=exited, status=0/SUCCESS)
 <snip>
 ```
@@ -86,15 +85,15 @@ Sakura-DBCを停止するには以下のようにコマンドを入力します
 Sakura-DBCは、状態遷移や、それに伴い実行したコマンドなどをログ出力します。ログを確認するにはjournalctlコマンドを利用します。
 
 ```
-journalctl -u sakura-controller -e
+# journalctl -u db-controller -e
 ```
 
 ## 現在の内部状態の確認方法
 
 Sakura-DBCの現在の状態を確認するには、curlコマンドなどで以下のエンドポイントをHTTPリクエストします。
 
 ```
-[root@test-db1 ~]# curl http://127.0.0.1:54545/status
+# curl http://127.0.0.1:54545/status
 {"state":"replica"}
 ```
 
@@ -104,7 +103,7 @@ Sakura-DBCがGSLBに対し、どのようにレスポンスを行っているか
 
 ```
 ! primaryの場合(200 OKが返る)
-[root@test-db2 ~]# curl -v http://127.0.0.1:54545/healthcheck
+# curl -v http://127.0.0.1:54545/healthcheck
 * Connected to 127.0.0.1 (127.0.0.1) port 54545 (#0)
 > GET /healthcheck HTTP/1.1
 > Host: 127.0.0.1:54545
@@ -114,7 +113,7 @@ Sakura-DBCがGSLBに対し、どのようにレスポンスを行っているか
 < Content-Length: 0
 
 ! primary以外の場合(503 Service Unavailableが返る)
-[root@test-db1 ~]# curl -v http://127.0.0.1:54545/healthcheck
+# curl -v http://127.0.0.1:54545/healthcheck
 * Connected to 127.0.0.1 (127.0.0.1) port 54545 (#0)
 > GET /healthcheck HTTP/1.1
 > Host: 127.0.0.1:54545
@@ -126,10 +125,12 @@ Sakura-DBCがGSLBに対し、どのようにレスポンスを行っているか
 
 ## BGP経路の確認方法
 
+### アンカーサーバ
+
 BGPピアの状態を確認するには、以下のようにvtyshコマンドを用います。
 
 ```
-[root@test-db1 ~]# vtysh -c 'show ip bgp summary'
+# vtysh -c 'show ip bgp summary'
 
 IPv4 Unicast Summary (VRF default):
 BGP router identifier xx.xx.xx.xx, local AS number 65001 vrf-id 0
@@ -147,7 +148,7 @@ Total number of neighbors 2
 BGP経路情報を確認するには、以下のようにvtyshコマンドを用います。
 
 ```
-[root@test-db1 ~]# vtysh -c 'show ip bgp'
+# vtysh -c 'show ip bgp'
 BGP table version is 4, local router ID is xx.xx.xx.xx, vrf id 0
 Default local pref 100, local AS 65001
 Status codes:  s suppressed, d damped, h history, * valid, > best, = multipath,
@@ -167,7 +168,7 @@ RPKI validation codes: V valid, I invalid, N Not found
 
 Displayed  3 routes and 5 total paths
 
-[root@test-db1 ~]# vtysh -c 'show ip bgp community-list primary'
+# vtysh -c 'show ip bgp community-list primary'
 <snip>
 
     Network          Next Hop            Metric LocPrf Weight Path
@@ -177,23 +178,47 @@ Displayed  3 routes and 5 total paths
 Displayed  1 routes and 5 total paths
 ```
 
+### DBサーバ
+
+BGPピアの状態を確認するには、以下のようにgobgpコマンドを用います。
+db-controllerがgobgpのgRPCポート(50051)を待ち受けており、そこから情報が取得されます。
+
+```
+# gobgp neighbor
+Peer              AS  Up/Down State       |#Received  Accepted
+xx.xx.xx.xx 65001 00:30:02 Establ      |        1         1
+xx.xx.xx.xx 65001 00:31:05 Establ      |        3         2
+```
+
+BGP経路情報を確認するには、以下のようにgobgpコマンドを用います。
+
+```
+# gobgp global rib
+   Network              Next Hop             AS_PATH              Age        Attrs
+*> xx.xx.xx.xx/32    xx.xx.xx.xx                             00:34:41   [{Origin: i} {Communities: 65001:3}]
+*> xx.xx.xx.xx/32    xx.xx.xx.xx                             00:34:18   [{Origin: i} {LocalPref: 100} {Communities: 65001:4} {Originator: xx.xx.xx.xx} {ClusterList: [xx.xx.xx.xx]}]
+*  xx.xx.xx.xx/32    xx.xx.xx.xx                             00:34:35   [{Origin: i} {LocalPref: 100} {Communities: 65001:4} {Originator: xx.xx.xx.xx} {ClusterList: [xx.xx.xx.xx]}]
+*> xx.xx.xx.xx/32    xx.xx.xx.xx                             00:00:00   [{Origin: i} {Med: 0} {LocalPref: 100} {Communities: 65001:10} {Originator: xx.xx.xx.xx} {ClusterList: [xx.xx.xx.xx]}]
+*  xx.xx.xx.xx/32    xx.xx.xx.xx                             00:35:20   [{Origin: i} {Med: 0} {LocalPref: 100} {Communities: 65001:10}]
+```
+
 ## ログレベルの変更方法
 
 [クイックスタートガイド](quick-start-guide.md)の手順では、通常の運用において推奨されるinfoログレベルにて設定するようになっています。
 もし、ログレベルを変更するには、以下のようにします。
 
 ```
-vi /etc/systemd/system/sakura-controller.service
+# vi /etc/systemd/system/db-controller.service
 
-! infoになっている部分を変更します
-ExecStart = /root/distributed-mariadb-controller/bin/sakura-controller --log-level info --db-repilica-password-filepath /root/.db-replica-password
+! ログレベルを変更します(debugに変更する場合)
+ExecStart = /root/distributed-mariadb-controller/bin/db-controller --log-level debug ...
 ```
 
-systemdに反映し、Sakura-DBCを再起動します。
+systemdに反映し、db-controllerを再起動します。
 
 ```
-systemctl daemon-reload
-systemctl restart sakura-controller
+# systemctl daemon-reload
+# systemctl restart db-controller
 ```
 
 指定可能なログレベルと、各レベルにおいて出力されるログの基準は以下の通りです。

docs/prometheus-setup.md

@@ -123,5 +123,5 @@ systemctl start alertmanager
 
 以下の場合に通知を行うような設定となっていますので、通知が届くかどうか確認してください。
 
-- sakura-controllerデーモンがダウンしている場合(サーバがダウンしている状態も含む)
+- db-controllerデーモンがダウンしている場合(サーバがダウンしている状態も含む)
 - primary, replica以外の状態の場合