feat: reset proxy cache with sigusr2
All checks were successful
Cadoles/bouncer/pipeline/head This commit looks good
All checks were successful
Cadoles/bouncer/pipeline/head This commit looks good
This commit is contained in:
parent
8b132dddd4
commit
1af7248a6f
1
internal/cache/cache.go
vendored
1
internal/cache/cache.go
vendored
@ -3,4 +3,5 @@ package cache
|
|||||||
type Cache[K comparable, V any] interface {
|
type Cache[K comparable, V any] interface {
|
||||||
Get(key K) (V, bool)
|
Get(key K) (V, bool)
|
||||||
Set(key K, value V)
|
Set(key K, value V)
|
||||||
|
Clear()
|
||||||
}
|
}
|
||||||
|
4
internal/cache/memory/cache.go
vendored
4
internal/cache/memory/cache.go
vendored
@ -25,6 +25,10 @@ func (c *Cache[K, V]) Set(key K, value V) {
|
|||||||
c.store.Store(key, value)
|
c.store.Store(key, value)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (c *Cache[K, V]) Clear() {
|
||||||
|
c.store.Clear()
|
||||||
|
}
|
||||||
|
|
||||||
func NewCache[K comparable, V any]() *Cache[K, V] {
|
func NewCache[K comparable, V any]() *Cache[K, V] {
|
||||||
return &Cache[K, V]{
|
return &Cache[K, V]{
|
||||||
store: new(sync.Map),
|
store: new(sync.Map),
|
||||||
|
5
internal/cache/ttl/cache.go
vendored
5
internal/cache/ttl/cache.go
vendored
@ -28,6 +28,11 @@ func (c *Cache[K, V]) Set(key K, value V) {
|
|||||||
c.values.Set(key, value)
|
c.values.Set(key, value)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (c *Cache[K, V]) Clear() {
|
||||||
|
c.timestamps.Clear()
|
||||||
|
c.values.Clear()
|
||||||
|
}
|
||||||
|
|
||||||
func NewCache[K comparable, V any](values cache.Cache[K, V], timestamps cache.Cache[K, time.Time], ttl time.Duration) *Cache[K, V] {
|
func NewCache[K comparable, V any](values cache.Cache[K, V], timestamps cache.Cache[K, time.Time], ttl time.Duration) *Cache[K, V] {
|
||||||
return &Cache[K, V]{
|
return &Cache[K, V]{
|
||||||
values: values,
|
values: values,
|
||||||
|
@ -99,9 +99,12 @@ const proxiesCacheKey = "proxies"
|
|||||||
func (d *Director) getProxies(ctx context.Context) ([]*store.Proxy, error) {
|
func (d *Director) getProxies(ctx context.Context) ([]*store.Proxy, error) {
|
||||||
proxies, exists := d.proxyCache.Get(proxiesCacheKey)
|
proxies, exists := d.proxyCache.Get(proxiesCacheKey)
|
||||||
if exists {
|
if exists {
|
||||||
|
logger.Debug(ctx, "using cached proxies")
|
||||||
return proxies, nil
|
return proxies, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
logger.Debug(ctx, "querying fresh proxies")
|
||||||
|
|
||||||
headers, err := d.proxyRepository.QueryProxy(ctx, store.WithProxyQueryEnabled(true))
|
headers, err := d.proxyRepository.QueryProxy(ctx, store.WithProxyQueryEnabled(true))
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return nil, errors.WithStack(err)
|
return nil, errors.WithStack(err)
|
||||||
@ -134,9 +137,12 @@ func (d *Director) getLayers(ctx context.Context, proxyName store.ProxyName) ([]
|
|||||||
|
|
||||||
layers, exists := d.layerCache.Get(cacheKey)
|
layers, exists := d.layerCache.Get(cacheKey)
|
||||||
if exists {
|
if exists {
|
||||||
|
logger.Debug(ctx, "using cached layers")
|
||||||
return layers, nil
|
return layers, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
logger.Debug(ctx, "querying fresh layers")
|
||||||
|
|
||||||
headers, err := d.layerRepository.QueryLayers(ctx, proxyName, store.WithLayerQueryEnabled(true))
|
headers, err := d.layerRepository.QueryLayers(ctx, proxyName, store.WithLayerQueryEnabled(true))
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return nil, errors.WithStack(err)
|
return nil, errors.WithStack(err)
|
||||||
|
@ -13,8 +13,11 @@ import (
|
|||||||
"net/http/httputil"
|
"net/http/httputil"
|
||||||
"net/http/pprof"
|
"net/http/pprof"
|
||||||
"net/url"
|
"net/url"
|
||||||
|
"os"
|
||||||
|
"os/signal"
|
||||||
"path/filepath"
|
"path/filepath"
|
||||||
"strconv"
|
"strconv"
|
||||||
|
"syscall"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"forge.cadoles.com/Cadoles/go-proxy"
|
"forge.cadoles.com/Cadoles/go-proxy"
|
||||||
@ -94,24 +97,15 @@ func (s *Server) run(parentCtx context.Context, addrs chan net.Addr, errs chan e
|
|||||||
|
|
||||||
logger.Info(ctx, "http server listening")
|
logger.Info(ctx, "http server listening")
|
||||||
|
|
||||||
|
layerCache, proxyCache, cancel := s.createDirectorCaches(ctx)
|
||||||
|
defer cancel()
|
||||||
|
|
||||||
director := director.New(
|
director := director.New(
|
||||||
s.proxyRepository,
|
s.proxyRepository,
|
||||||
s.layerRepository,
|
s.layerRepository,
|
||||||
director.WithLayers(s.directorLayers...),
|
director.WithLayers(s.directorLayers...),
|
||||||
director.WithLayerCache(
|
director.WithLayerCache(layerCache),
|
||||||
ttl.NewCache(
|
director.WithProxyCache(proxyCache),
|
||||||
memory.NewCache[string, []*store.Layer](),
|
|
||||||
memory.NewCache[string, time.Time](),
|
|
||||||
s.directorCacheTTL,
|
|
||||||
),
|
|
||||||
),
|
|
||||||
director.WithProxyCache(
|
|
||||||
ttl.NewCache(
|
|
||||||
memory.NewCache[string, []*store.Proxy](),
|
|
||||||
memory.NewCache[string, time.Time](),
|
|
||||||
s.directorCacheTTL,
|
|
||||||
),
|
|
||||||
),
|
|
||||||
director.WithHandleErrorFunc(s.handleError),
|
director.WithHandleErrorFunc(s.handleError),
|
||||||
)
|
)
|
||||||
|
|
||||||
@ -205,6 +199,44 @@ func (s *Server) run(parentCtx context.Context, addrs chan net.Addr, errs chan e
|
|||||||
logger.Info(ctx, "http server exiting")
|
logger.Info(ctx, "http server exiting")
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (s *Server) createDirectorCaches(ctx context.Context) (*ttl.Cache[string, []*store.Layer], *ttl.Cache[string, []*store.Proxy], func()) {
|
||||||
|
layerCache := ttl.NewCache(
|
||||||
|
memory.NewCache[string, []*store.Layer](),
|
||||||
|
memory.NewCache[string, time.Time](),
|
||||||
|
s.directorCacheTTL,
|
||||||
|
)
|
||||||
|
|
||||||
|
proxyCache := ttl.NewCache(
|
||||||
|
memory.NewCache[string, []*store.Proxy](),
|
||||||
|
memory.NewCache[string, time.Time](),
|
||||||
|
s.directorCacheTTL,
|
||||||
|
)
|
||||||
|
|
||||||
|
sig := make(chan os.Signal, 1)
|
||||||
|
|
||||||
|
signal.Notify(sig, syscall.SIGUSR2)
|
||||||
|
|
||||||
|
go func() {
|
||||||
|
for {
|
||||||
|
_, ok := <-sig
|
||||||
|
if !ok {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
logger.Info(ctx, "received sigusr2 signal, clearing proxies and layers cache")
|
||||||
|
|
||||||
|
layerCache.Clear()
|
||||||
|
proxyCache.Clear()
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
|
||||||
|
cancel := func() {
|
||||||
|
close(sig)
|
||||||
|
}
|
||||||
|
|
||||||
|
return layerCache, proxyCache, cancel
|
||||||
|
}
|
||||||
|
|
||||||
func (s *Server) createReverseProxy(ctx context.Context, target *url.URL) *httputil.ReverseProxy {
|
func (s *Server) createReverseProxy(ctx context.Context, target *url.URL) *httputil.ReverseProxy {
|
||||||
reverseProxy := httputil.NewSingleHostReverseProxy(target)
|
reverseProxy := httputil.NewSingleHostReverseProxy(target)
|
||||||
|
|
||||||
|
@ -131,6 +131,12 @@ proxy:
|
|||||||
# Les proxys/layers sont mis en cache local pour une durée de 30s
|
# Les proxys/layers sont mis en cache local pour une durée de 30s
|
||||||
# par défaut. Si les modifications sont rares, vous pouvez augmenter
|
# par défaut. Si les modifications sont rares, vous pouvez augmenter
|
||||||
# cette valeur pour réduire la "pression" sur le serveur Redis.
|
# cette valeur pour réduire la "pression" sur le serveur Redis.
|
||||||
|
# Il est possible de forcer la réinitialisation du cache en envoyant
|
||||||
|
# le signal SIGUSR2 au processus Bouncer.
|
||||||
|
#
|
||||||
|
# Exemple
|
||||||
|
#
|
||||||
|
# kill -s USR2 $(pgrep bouncer)
|
||||||
ttl: 30s
|
ttl: 30s
|
||||||
|
|
||||||
# Configuration du transport HTTP(S)
|
# Configuration du transport HTTP(S)
|
||||||
|
Loading…
x
Reference in New Issue
Block a user