Home on Bumgu

Vector vs OpenTelemetry Collector: 로그 수집기 비교

Sat, 10 Oct 2026 00:00:00 +0900

EKS에서 노드 로그를 많이 수집할 때 Vector를 쓸지 OpenTelemetry Collector를 쓸지 제품 소개나 기능 목록만으로 결정하기는 어렵습니다. 노드에서 파일을 읽고, 중앙으로 보내고, 파싱하고, 라우팅하는 실제 경로에서 CPU와 메모리가 어떻게 달라지는지가 궁금했습니다.

그래서 Kubernetes에 두 파이프라인을 올려 같은 형태의 1 KiB 로그를 흘려보냈습니다. 결론부터 말하면 이번 단일 노드 실행에서는 10k logs/s에서 OTel 쪽 평균 CPU가 낮았고, Vector 쪽 메모리 사용량이 적었습니다. 다만 이 문장은 운영 승자를 뜻하지 않습니다. 마지막 출력이 실제 저장소가 아닌 폐기 sink였고, 25k부터는 두 수집기에 들어간 부하 자체가 달랐습니다.

GitHub Actions Docker 빌드에서 사라지지 않는 디스크 사용량 줄이기

Wed, 23 Sep 2026 00:00:00 +0900

문제

GitHub Actions에서 Docker 이미지를 빌드하다가 러너 디스크가 부족해지는 문제를 확인했습니다. 압축 크기 1.40GB인 이미지가 같은 공유 워크플로에서 no space left on device로 두 번 실패했는데, 두 번의 실패 지점이 서로 달랐습니다. 처음에는 Dockerfile이 너무 크거나 캐시가 오래 쌓였다고 생각했습니다. 하지만 이번 경우에는 한 번의 이미지 빌드 결과가 서로 다른 저장소에 여러 번 복제되는 구조가 원인이었습니다.

이 글에서는 기존 Buildx 빌드와 push 흐름에서 어떤 데이터가 어디에 저장되는지 정리하고, load: true를 제거해 로컬 Docker 데몬 사본을 없애는 방법을 설명합니다.

Nginx와 Envoy Gateway의 라우팅

Sun, 02 Aug 2026 16:07:35 +0900

nginx 정규식 라우팅을 Envoy Gateway로 옮길 수 있을까

엣지 게이트웨이를 OpenResty(nginx)에서 Envoy Gateway로 전환하려면 먼저 답해야 하는 질문이 하나 있었습니다. nginx conf에 있는 정규식 location 설정을 Gateway API로 그대로 옮길 수 있는가.

문서를 읽는 것으로는 답이 나오지 않았습니다. Gateway API 스펙이 정규식 경로 매칭을 Extended 등급으로 두고 우선순위를 아예 규정하지 않기 때문입니다. 구현체 재량이라고만 적혀 있습니다.

그래서 kind에 Envoy Gateway를 올려 직접 측정했습니다. 이 글은 그 기록입니다. 모든 매니페스트를 포함해 그대로 재현할 수 있게 썼습니다.

Loki-VictoriaLogs Proxy 사용해보기

Sun, 19 Apr 2026 18:50:12 +0900

개인 쿠버네티스 클러스터에서는 로그 저장소로 VictoriaLogs를 사용하고 있습니다. Loki에 비해 리소스 사용량이 적고 설치/운영이 단순해 소규모 환경에 적합하기 때문입니다.

다만 Grafana에서 VictoriaLogs 데이터소스를 공식 지원하긴 하나, 자동완성이나 Explore UX가 아직 Loki만큼 매끄럽진 않아서 결국 vmui로 돌아가곤 했습니다.
그러던 중 loki-vl-proxy라는 프로젝트를 발견했습니다. VictoriaLogs를 백엔드로 두고 Loki API와 호환되는 엔드포인트를 제공하는 Proxy 여서, Grafana 입장에선 그냥 Loki를 쓰는 것처럼 동작합니다. 저장은 VL로 하고, 조회는 Loki UX로 하겠다는 발상이라 바로 배포해보기로 했습니다.

아키텍처

loki-vl-proxy는 이름 그대로 읽기 전용 프록시입니다. push(수집) 경로는 막혀있고, Loki의 query API만 VictoriaLogs로 중계합니다. 즉 로그 수집은 기존처럼 vlagent/OTLP/Loki push → VL 로 그대로 두고, 조회 계층에만 Loki 호환 레이어를 끼워 넣는 구조입니다.

Terraform으로 GKE를 구축하고 Tailscale로 접근하기

Thu, 18 Dec 2025 14:21:02 +0900

GCP Free trial Credit이 많이 남아서 실무라 가정하고 GKE를 구축하고, Tailscale을 통해 네트워크단에서 접근을 제한하는 작업을 해보았습니다.

1. Terraform

폴더구조는 아래와 같습니다.

.
├── main.tf
├── modules
│   ├── gke
│   │   ├── main.tf
│   │   └── variables.tf
│   ├── network
│   │   ├── main.tf
│   │   └── output.tf
│   └── vm
│   ├── main.tf
│   └── variables.tf

modules안에서 필요한 리소스를 정의해놓고 root의 main.tf에서 실제 리소스를 생성하는 식으로 모듈화 하였습니다.

오픈소스 VictoriaMetrics 에 기여하기

Tue, 25 Nov 2025 22:50:21 +0900

발단

지난 4월, 회사 로깅 툴을 Loki에서 VictoriaLogs로 교체했다. 꽤 만족스러운 결정이었지만, 팀의 요구사항인 “알람 메시지에 로그 본문 포함"이 안 된다는 것이었다.
VictoriaLogs는 구조적으로 알람 트리거 시 숫자 값만 반환하기 때문에 로그 텍스트를 알람에 실을 수 없었다. issue도 올려보고 방법을 찾아봤지만, 결국 답은 ‘직접 만들기’뿐이었다.
아쉬운 대로 간단한 Webhook Server를 구현해 중간에서 로그를 긁어오도록 처리하고 사용했다.
그런데 나와 같은 불편함을 겪던 몇몇 사람들이 검색을 통해 내 레포지터리를 발견하고 코드를 Fork 해가는 것이었다.
그 모습을 보고 단순히 땜질 처방으로 남겨두기보다 해결하고 싶어졌다. 그렇게 나는 VictoriaMetrics 공식 레포지터리에(정확히는 그 안의 Vmalert) 해당 기능을 직접 구현해 Contribution하게 되었다.

오픈소스 기여하기

Wed, 22 Oct 2025 15:20:22 +0900

저는 CI tool로 Github Actions를 자주 사용합니다.
다들 아시다시피, Github Actions는 yaml기반으로 workflow파일을 작성하는데 그러다보면 인덴트, 혹은 잘못된 문법으로 CI job failed 알람을 받아본 경험이 많을것 입니다.
그러다가 트위터 에서 이런 포스트를 발견했습니다.
이 gha-ts 프로젝트는 TypeScript 로 workflow파일을 작성하면 .yml파일을 생성해주는 오픈소스입니다.
인덴트나 문법 걱정없이 type safe한 workflow를 생성할 수 있습니다.
그런데 setup에 node, java, python, go, dotnet은 존재하는데 bun이 없는걸 보고 bun setup을 추가하기로 마음 먹었습니다.

코드

우선 Repository 를 클론받고 브랜치를 생성했습니다. /src/actions/setup.ts 파일에 모든 setup 함수와 인터페이스 등이 선언되어있어서 이 파일에 코드를 작성했습니다.

(1)Istio 맛보기

Sun, 07 Sep 2025 11:17:37 +0900

1. Istio?

많은 서비스들이 마이크로서비스아키텍처(MSA)로 구성 되어있습니다.
MSA는 각 서비스 간의 의존도를 낮추어 장애 전파를 낮추는데 특히 효과적 입니다.
하지만 MSA에서 서비스가 많아지면 많아질수록 복잡도가 증가하고, 어떤 서비스가 어떤 서비스를 호출하는지, 통신은 안전한지, 트러블 슈팅이 힘들어지는 문제 등이 있습니다.
이러한 복잡한 문제를 해결하는데 도움을 주는 도구가 Istio입니다.

Istio는 Service Mesh의 대표적인 오픈소스 소프트웨어 입니다.
마이크로 서비스 간의 통신을 제어하고, 가시성을 제공하며 보안을 강화합니다.
마치 교통경찰이 수신호를 하여 교통흐름을 통제하고 있다고 생각하면 됩니다.

(2)사내 Openstack 구축으로 VM 대체하기 - nova, neutron, cinder

Sun, 06 Jul 2025 12:08:08 +0900

Openstack 구축 1편

Nova

Openstack에서 Nova는 클라우드 환경의 Compute 리소스를 관리하는 핵심 컴포넌트 이다.
인스턴스의 생성, 관리, 삭제 등 라이프사이클 전체를 담당한다.
또한 neutron, cinder 등과 연계하여 인스턴스에 네트워크와 스토리지를 연결하는 필수 컴포넌트 이다.

Controller Node

1. MariaDB에 Nova 데이터베이스 생성

create database nova_api
- Nova의 API 서비스와 관련된 글로벌 정보(예: 인스턴스 요청, 셀 정보, 고수준 트래킹 등)를 저장
create database nova
- 실제 인스턴스(가상 머신)와 관련된 데이터를 저장하는 기본 셀(cell1)의 데이터베이스. 인스턴스의 상태, 할당된 자원, 이벤트 등 각 셀의 로컬 정보를 보관
create database nova_cell0
- Nova의 셀 구조에서 스케줄링에 실패한 인스턴스(어떤 컴퓨트 노드에도 할당되지 못한 인스턴스)를 저장하는 특수한 용도의 데이터베이스.

GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'localhost' IDENTIFIED BY 'NOVA_API_PASS';
GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'%' IDENTIFIED BY 'NOVA_API_PASS';

GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'localhost' IDENTIFIED BY 'NOVA_PASS';
GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'%' IDENTIFIED BY 'NOVA_PASS';

GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'localhost' IDENTIFIED BY 'NOVA_CELL0_PASS';
GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'%' IDENTIFIED BY 'NOVA_CELL0_PASS';

2. Nova 유저 생성 및 권한 부여

유저 생성
- openstack user create --domain default --password-prompt nova
관리자 권한 부여
- openstack role add --project service --user nova admin
Nova 서비스 엔티티 생성
- openstack service create --name nova --description "Openstack Compute" compute

3. Nova API 서비스 엔드포인트 생성

$ openstack endpoint create --region RegionOne \
 compute public http://controller:8774/v2.1
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 08ab870ef54647399f31472a22e3ec23 |
| interface | public |
| region | RegionOne |
| region_id | RegionOne |
| service_id | 25ca5a23aa5b4375889d931e11467e61 |
| service_name | nova |
| service_type | compute |
| url | http://controller:8774/v2.1 |
+--------------+----------------------------------+
$ openstack endpoint create --region RegionOne \
 compute internal http://controller:8774/v2.1
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 59b80313047f41eb89e429600eff9a71 |
| interface | internal |
| region | RegionOne |
| region_id | RegionOne |
| service_id | 25ca5a23aa5b4375889d931e11467e61 |
| service_name | nova |
| service_type | compute |
| url | http://controller:8774/v2.1 |
+--------------+----------------------------------+
$ openstack endpoint create --region RegionOne \
 compute admin http://controller:8774/v2.1
+--------------+----------------------------------+
| Field | Value |
+--------------+----------------------------------+
| enabled | True |
| id | 12a2aab58e0f4a87b1f41e6e6486ef5c |
| interface | admin |
| region | RegionOne |
| region_id | RegionOne |
| service_id | 25ca5a23aa5b4375889d931e11467e61 |
| service_name | nova |
| service_type | compute |
| url | http://controller:8774/v2.1 |
+--------------+----------------------------------+

4. Nova 패키지 설치

api install nova-api nova-conductor nova-novncproxy nova-scheduler -y

(1)사내 Openstack 구축으로 VM 대체하기 - keystone, glance, placement

Sun, 29 Jun 2025 12:13:11 +0900

Openstack 구축 2편

발단

VM이 더이상 유지보수도 안되고 라이센스도 끝나서 대체 하기로 마음을 먹고 Openstack 구축을 시작했다.
이전에 Openstack Helm 으로 날먹 해보려했으나 잘 되지 않아서 흐지부지 됐었으나.. 6월4일에 열렸던 Cloud bro 세미나에서 NHN Cloud 조성수님에게 여쭤봤다가 처음부터 helm으로 한번에 설치하려하지 말고 가이드보고 컴포넌트별로 설치하며 트러블 슈팅을 해보란 말씀에 하나하나씩 처음부터 설치를 해봤다.

환경

OS: Ubuntu 24.04 3대
1번서버 : Controller, Network, Compute
2번서버 : Compute
3번서버 : Compute

자원의 한계로 사내에 남는 서버를 주워서 구축했다… 1번서버야 미안해

Kubernetes Cluster 버전 업그레이드

Sun, 22 Jun 2025 13:25:06 +0900

Kubernetes Cluster Upgrade

Server: Vagrant VM (Ubuntu 22.04)
현재 Kubeamd, Kubectl, Kubelet: 1.32.6
업그레이드 할 Kubeamd, Kubectl, Kubelet: 1.33

현재 운영중이라는 가정하에 간단한 API 서버를 실행중 업그레이드를 수행한다.

Kubernetes yaml, 소스코드, Vagrantfile 등 Github

현재

GET :8080/hello

method: GET 
Response:
{
Message: Hello world!
}

GET :8080/bye

method: GET 
Response:
{
Message: Bye world!
}

1. Control plane - Kubeadm

apt update
apt-cache madison kubeadm

위 명령어 실행 시 1.32.x 버전만 보인다면 apt 저장소 업데이트가 필요합니다.

Kafka를 이용한 Log Aggregation

Tue, 06 May 2025 15:52:28 +0900

Kafka는 MQ(Message Queue)다.
기존 로그 수집 파이프라인은
이렇게 간단했으나, 문제는 서버가 한두대가 아니라는 것이다.
모든 로그가 동시 다발적으로 VictoriaLogs에 로그를 Insert하게 되면서 병목현상이 생겨 데이터 처리 지연, 일부 로그 유실이 발생하였다.
그래서 로그 중앙 집중화를 위해 Log Aggregator로 Kafka를 도입하게 되었다. 대용량 로그를 빠르고 안정적으로 처리할 수 있으며, 장애 발생 시에도 로그 유실이 없어 데이터를 안전하게 보존할 수 있다. 그래서 이런 구조를 생각하게 되었으나
Kafka는 AMQP와 달리 Consumer가 topic을 구독(sub)하여 소비하는 Pub/Sub모델이며 Consumer가 Pull하는 방식이기 때문에 아래와 같은 구조가 완성되었다.

Hugo를 사용해 블로그 만들기

Tue, 22 Apr 2025 20:42:28 +0900

마크다운이 익숙해서 Velog를 블로그로 사용하다가 Hugo + GitHub Pages 사용해 블로그를 호스팅했습니다.
배포했던 과정을 글로 남깁니다.

1. Hugo?

Hugo는 Go로 작성된 오픈소스 SSG(Static Site Generator) 입니다.
JS/TS 기반의 Astro를 사용할까 하다가 가벼운 Hugo를 선택했습니다.
Hugo는 내부적으로 theme-override를 사용해 css와 html 커스텀이 가능하고, GoTemplate를 사용해 if문과 for문같은 구현이 가능합니다.

2. Hugo 설치

설치 공식문서

mac: brew install hugo
Linux: sudo snap install hugo
Windows
- chocolately: choco install hugo-extended
- scoop: scoop install hugo-extended
- winget: winget install Hugo.Hugo.Extended

Go로 설치도 가능합니다.

MCP(Model Context Protocol)를 사용해보자

Sat, 01 Mar 2025 00:00:00 +0000

2월 27일 열린 Docker Community Day를 다녀왔습니다. 연사자분중 당근마켓 SRE 염근철님의 발표주제였는데요, 재밌는 주제인것 같아 간단하게 사용을 해보았습니다.

MCP란?

Model Context Protocol(MCP)은 LLM(Large Language Model) 애플리케이션과 외부 데이터 소스 및 도구들 간의 원활한 통합을 가능하게 하는 개방형 프로토콜입니다. AI 기반 IDE를 구축하든, 채팅 인터페이스를 개선하든, 혹은 커스텀 AI 워크플로우를 만들든 관계없이, MCP는 LLM이 필요로 하는 컨텍스트와 연결하기 위한 표준화된 방법을 제공합니다.

MCP 구조

MCP follows a client-server architecture where:

Hosts: LLM 애플리케이션 (Claude 데스크탑 혹은 IDE)
Clients: 호스트 애플리케이션 안에서 서버와 1:1 연결을 유지합니다.
Servers: 클라이언트에게 context, tools, prompts를 제공합니다.

Go - Functional Options 패턴

Sun, 16 Feb 2025 00:00:00 +0000

package main

import "fmt"

type Server struct {
	maxConn		int
	tls			bool
	id			string

}

func newServer(maxConn int, tls bool, id string) *Server {
	return &Server{
		maxConn:	maxConn,
		tls:		tls,
		id:			id,
	}
}

func main() {
	s := newServer(100, false, "server1")
	fmt.Println(s)
}

위와 같이 서버를 실행하는 함수가 있습니다. newServer()를 호출할 때는 인자값으로 maxConn, tls, id등을 필수로 넘겨줘야 합니다. 지금은 3개밖에 안받으니 까먹을일 없겠지만 만약 인자가 10개, 20개라면 하나둘씩 까먹기 시작하고 실행에 실패할 것입니다.

Opts 구조체

기존 Server 구조체에 가지고 있던 속성들을 Opts라는 구조체로 옮기고, Server는 Opts구조체를 가지겠습니다.

Etcd 모니터링 tls 에러 해결

Sat, 18 Jan 2025 00:00:00 +0000

Server OS : Ubuntu 22.04 Kubernetes 구축환경 : Kubespray
Prometheus : kube-prometheus-stack v65.1.1

1. 개요

Grafana etcd 대쉬보드가 Pod로 띄워지지 않고 쿠버네티스 서버에 직접 설치되어서 모니터링이 안되고 있던 상황 타겟에 <etcd-server>:2379/metrics를 추가했으나 tls문제로 etcd에 접근하지 못해 수집이 안되고있었다.

2. etcd 실행 플래그 확인

etcd가 실행되고있는 쿠버네티스 노드에 접근해서 ps aux | grep etcd 로 명령을 확인한다.

$ ps aux | grep etcd
root 9330 2.9 1.1 11494180 180124 ? Ssl 2024 3132:04 /usr/local/bin/etcd
root 10329 4.7 6.3 2480192 1041808 ? Ssl 2024 5166:20 kube-apiserver --advertise-address=<server ip> --allow-privileged=true --anonymous-auth=True --apiserver-count=3 --authorization-mode=Node,RBAC --bind-address=0.0.0.0 --client-ca-file=/etc/kubernetes/ssl/ca.crt --default-not-ready-toleration-seconds=300 --default-unreachable-toleration-seconds=300 --enable-admission-plugins=NodeRestriction --enable-aggregator-routing=False --enable-bootstrap-token-auth=true --endpoint-reconciler-type=lease --etcd-cafile=/etc/ssl/etcd/ssl/ca.pem --etcd-certfile=/etc/ssl/etcd/ssl/node-controlplane.pem --etcd-compaction-interval=5m0s --etcd-keyfile=/etc/ssl/etcd/ssl/node-controlplane-key.pem --etcd-servers=https://<etcd cluster ip1>:2379,https://<etcd cluster ip2>:2379,https://<etcd cluster ip3>:2379 --event-ttl=1h0m0s --kubelet-client-certificate=/etc/kubernetes/ssl/apiserver-kubelet-client.crt --kubelet-client-key=/etc/kubernetes/ssl/apiserver-kubelet-client.key --kubelet-preferred-address-types=InternalDNS,InternalIP,Hostname,ExternalDNS,ExternalIP --profiling=False --proxy-client-cert-file=/etc/kubernetes/ssl/front-proxy-client.crt --proxy-client-key-file=/etc/kubernetes/ssl/front-proxy-client.key --request-timeout=1m0s --requestheader-allowed-names=front-proxy-client --requestheader-client-ca-file=/etc/kubernetes/ssl/front-proxy-ca.crt --requestheader-extra-headers-prefix=X-Remote-Extra- --requestheader-group-headers=X-Remote-Group --requestheader-username-headers=X-Remote-User --secure-port=6443 --service-account-issuer=https://kubernetes.default.svc.cluster.local --service-account-key-file=/etc/kubernetes/ssl/sa.pub --service-account-lookup=True --service-account-signing-key-file=/etc/kubernetes/ssl/sa.key --service-cluster-ip-range=10.233.0.0/18 --service-node-port-range=30000-32767 --storage-backend=etcd3 --tls-cert-file=/etc/kubernetes/ssl/apiserver.crt --tls-private-key-file=/etc/kubernetes/ssl/apiserver.key

--etcd-cafile=/etc/ssl/etcd/ssl/ca.pem --etcd-certfile=/etc/ssl/etcd/ssl/node-controlplane.pem --etcd-keyfile=/etc/ssl/etcd/ssl/node-controlplane-key.pem

이부분이 etcd가 요구하는 인증서 정보이다.

Go - http.HandleFunc와 http.HandlerFunc의 차이

Tue, 07 Jan 2025 00:00:00 +0000

1. http.HandleFunc

http.HandleFunc는 함수입니다.
특정 경로에 대해 요청을 처리할 핸들러를 등록합니다.
등록된 함수는 func(http.ResponseWriter, *http.Request)시그니처를 따릅니다.

1-1. 사용 예제

package main

import (
	"encoding/json"
	"fmt"
	"net/http"
)

type Response struct {
	Message		string `json:"message"`
}

func helloHandler(w http.ResponseWriter, r *http.Request) {
	w.Header().Set("Content-Type", "application/json") // 응답 헤더 설정
	w.WriteHeader(http.StatusOK) // 헤더에 Status코드 설정

	response := Response {
		Message:	"hello world",
	}

	if err := json.NewEncoder(w).Encode(response); err != nil {
		fmt.Errorf("failed to encode json reponse", err)
	}
}

func main() {
	http.HandleFunc("/", helloHandler) // '/' 경로에 핸들러 등록

	fmt.Println("Server start on port :8080")

	if err := http.ListenAndServe(":8080", nil); err != nil {
		panic("failed to start server")		
	}
}

kube-prometheus-stack: scrape target을 외부 secret으로 관리

Sun, 22 Dec 2024 00:00:00 +0000

additionalScrapeConfigs 에 직접 target을 작성하다보면 1000줄, 2000줄이 넘어가 values.yaml파일이 길어져 관리가 힘들어집니다..

그렇기 때문에 Scrape Targets을 외부 Secret으로 빼고 Secret을 참조하는방식으로 관리하도록 변경했습니다.

1. 기존 ScrapeTarget을 파일로 생성

기존에 values.yaml의 prometheus.prometheusSpec.additionalScrapeConfigs에 적혀있던 설정을 파일로 따로 작성합니다.

prometheus-scrape-target.yaml

- job_name: server1
 static_configs:
 - targets: ["1.1.1.1:9100"]
 labels:
 alias: "server1"
 job: "node-exporter"
 component: "linux-server"
- job_name: server2
 static_configs:
 - targets: ["1.1.1.2:9100"]
 labels:
 alias: "server2"
 job: "node-exporter"
 component: "linux-server"

2. 파일 기준 Secret manifest 생성

kubectl create secret generic --from-file=prometheus-scrape-target.yaml --dry-run=client -o yaml > additional-scrape-target.yaml 위 명령어는 방금 작성한 파일을 기준으로 쿠버네티스 시크릿을 생성할 수 있는 secret manifest yaml파일을 생성합니다.

Grafana, Loki ERROR - Failed to load the data source configuration for loki: Unable to fetch alert rules. Is the loki data source properly configured?

Sun, 08 Dec 2024 00:00:00 +0000

Loki를 Kubernetes에 배포하고 Grafana에 Data Source로 연결해서 잘 사용하고 있었으나, Alerting rulers 페이지에서 Failed to load the data source configuration for loki: Unable to fetch alert rules. Is the loki data source properly configured? 와 같은 에러 메세지를 볼 수 있었습니다.

사용하고 있는 Loki Helm Chart는 여기 의 6.22 버전을 사용하고 있습니다.

1. 기존 values

rulerConfig:
 storage:
 type: local
 local:
 directory: /etc/loki/rules
 rule_path: /rules
 enable_api: true
 alertmanager_url: "<alertmanager_url>"

이는 /etc/loki/rules는 Alerts 룰을 영구적으로 저장하는 디렉토리이기 때문에 읽기전용이고 클라이언트(Grafana 등)에서 생성한 룰은 rule_path에 지정한 디렉토리에 임시로 저장되기 때문에 쓰기가 가능합니다. 그렇기 때문에 rule_path를 마운트 해줘야 합니다.

Kubespray 사용 시 Metallb 설치

Sun, 22 Sep 2024 00:00:00 +0000

지난번 kubespray 와 ansible을 활용해서 쿠버네티스 클러스터링을 할 때, 마지막 metallb 설치에 실패했는데, 오늘 설치해보겠습니다.

1. MetalLB 설치

공식문서를 보고 설치했습니다.

kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.14.8/config/manifests/metallb-native.yaml

으로 설치합니다.

1-1. kube-proxy configMap 수정

MetalLB는 IPVS 모드에서 ARP 응답을 엄격하게 제어하여 로드밸런싱을 수행합니다. 이 모드에서 strictARP를 활성화하면, kube-proxy는 노드가 할당된 IP에 대한 ARP 응답을 명확하게 지정된 노드에서만 처리하도록 합니다.

kubectl edit cm -n kube-system kube-proxy로 편집을 열고 strictARP: false 부분을 strictARP: true로 수정해줍니다.

Go와 GORM으로 DB연결해보기

Wed, 18 Sep 2024 00:00:00 +0000

최근 회사 서비스 어플리케이션 커스텀 Exporter를 만들기 위해 Go를 공부하고 있습니다. Go진영 ORM인 GORM으로 DB연결후 데이터 삽입까지 간단히 해봤습니다.

1. 세팅

1-1. go 세팅

go mod init // 프로젝트 초기화
go get -u gorm.io/gorm // gorm 패키지 다운
go get -u gorm.io/driver/mysql // mysql 드라이버 다운

1-2. Docker로 Mariadb 띄우기

docker run -d -p 3306:3306 --name maria \
-e MYSQL_ALLOW_EMPTY_PASSWORD=true mariadb:10.9

2. DB 연결

이제 GORM을 연결해 DB연결을 해보겠습니다.

database 생성 create database test;

package main

import (
	"fmt"
	"log"

	"gorm.io/driver/mysql"
	"gorm.io/gorm"
)


func main() {
	dsn := "root@tcp(127.0.0.1:3306)/test"

	db, err := gorm.Open(mysql.Open(dsn), &gorm.Config{})

	if err != nil {
		log.Fatalf("Error opening GORM connection %v", err)
	}

	fmt.Println("Successfully connected GORM : ", db)
}

딱히 설명이 필요없는 코드이기 때문에 바로 실행하겠습니다.

Kubespray로 k8s클러스터 구축

Sun, 15 Sep 2024 00:00:00 +0000

Ansible, Kubespray를 이용해 k8s클러스터 구축을 해보겠습니다.

1. Vagrant를 사용해 VM 생성

Vagrant 설정파일은 kubernetes-certification-guide 를 참고했습니다.

setting.yaml

# settings.yaml
# box_name: "sloopstash/ubuntu-22-04"
box_name: "bento/ubuntu-22.04"
# box_version: "2.1.1"
vm:
- name: "controlplane"
 ip: "192.168.64.163"
 memory: "2048"
 cpus: "2"
- name: "node01"
 ip: "192.168.64.164"
 memory: "2048"
 cpus: "2"
- name: "node02"
 ip: "192.168.64.165"
 memory: "2048"
 cpus: "2"

Vagrantfile

require 'yaml'
settings = YAML.load_file(File.join(File.dirname(__FILE__), 'settings.yaml'))

Vagrant.configure("2") do |config|
 config.vm.box = settings['box_name']
 # config.vm.box_version = settings['box_version']
 config.vm.box_check_update = false

 settings['vm'].each do |vm_config|
 config.vm.define vm_config['name'] do |vm|
 vm.vm.hostname = vm_config['name']
 vm.vm.network "public_network", ip: vm_config['ip']
 vm.vm.synced_folder ".", "/vagrant", disabled: false

 vm.vm.provider "vmware_fusion" do |vb|
 vb.gui = true
 vb.memory = vm_config['memory']
 vb.cpus = vm_config['cpus']
 end

 vm.vm.provision "shell", inline: <<-SHELL
 apt update
 apt upgrade -y
 apt install -y wget vim net-tools gcc make tar git unzip sysstat tree
 echo "192.168.201.10 controlplane" >> /etc/hosts
 echo "192.168.201.11 node01" >> /etc/hosts
 echo "192.168.201.12 node02" >> /etc/hosts
 SHELL
 # vm.vm.provision "shell", path: "scripts/common.sh"
 end
 end
end

vagrant up을 명령어를 통해 VM을 생성합니다. 생성이 된후엔 vagrant ssh <vm name>으로 접속해서 확인해봅니다. ssh vagrant@<ip>로 접속해도 됩니다. vagrant유저의 초기 비밀번호는 vagrant 입니다.

Debian에서 k3s 클러스터 구축해보기

Sun, 30 Jun 2024 00:00:00 +0000

회사에서 테스트용으로 구축했다가 어쩌다보니 현재 실사용하고있는 k8s클러스터(마스터 1, 워커 2) 서버가 우분투 데스크탑인데다가, 간헐적인 네트워크 끊김 문제가 생겨서 새로 구축할 생각이라 실습을 진행했습니다.

공식 페이지 iso 파일 다운로드

위 링크에서 netinst CD image 에서 원하는 아키텍쳐를 선택해 다운받고 vm에 설치했습니다.
로컬 환경 : Mac OS Sonoma 14.5 | Macbook Air M1 | 16G RAM
vm 설치 환경 : Debian 12.6 | 2코어 | 4G RAM

1. Debian 설치

Debian 은 처음이기에 나오는 설명들을 하나하나 읽으며 진행했습니다, Software Installation 탭에서는 기본으로 체크되어있는 SSH server, standart system utilities만 체크 한후 설치했고, 파티션은 /var, /tmp, /home등으로 나누는 사항을 체크했습니다.

gmail OAuth2 토큰 발급(bun, elysia)

Wed, 19 Jun 2024 00:00:00 +0000

1. bun이란?

bun은 node.js와 같은 자바스크립트 런타임입니다. 자세한 내용과 설치는 bun.sh 에서 확인 하실 수 있습니다. node.js의 express와 같은 elysia라는 프레임워크를 사용해서 google gmail OAuth2토큰을 발급 받는 과정까지 포스팅 하도록 하겠습니다.

2. elysia 앱 생성

elysia앱을 생성해보겠습니다 생성은 bun create elysia ${app name} 명령어를 통해 생성 할 수 있습니다.

src/index.ts파일을 보면

import { Elysia } from "elysia";

const app = new Elysia().get("/", () => "Hello Elysia").listen(3000);

console.log(
 `🦊 Elysia is running at ${app.server?.hostname}:${app.server?.port}`
);

3000번포트로 리스닝 중인것을 확인 할 수 있습니다. bun run dev명령어로 실행하고 localhost:3000을 접속해보면 이와 같이 작동중인것을 확인 할 수 있습니다.

AWS Summit Seoul 2024 후기

Sat, 18 May 2024 00:00:00 +0000

5월16일, 5월17일에 열린 AWS Summit Seoul 2024 에 다녀왔습니다. 저는 5월 17일만 다녀왔는데 다녀온 후기입니다

메일로 받은 QR코드를 찍고 입장하면 네임택을 줍니다. SRE, 데브옵스 그리고 시스템엔지니어까지 하고있지만 저는 시스템엔지니어로 role을 적어서 그렇게 나왔습니다.

9:30 키노트 연설

9시 30분부터 키노트 연설이 시작됩니다. 3층의 오디토리움에서 진행되는데 영상과 AWS 수석테크 에반젤리스트, 인프랩 CTO 이동욱님, 센드버드 CTO 구정진님 그리고 AWS의 CTO Werner Vogels, Matt Wood의 연설을 들을 수 있었습니다. 키포인트로 잡은 것중 하나가 Frugal Architect(검소한 아키텍트) 였습니다. 온프레미스 환경에 존재했던 하드웨어 제약을 없애고 클라우드 환경에서 구축이 쉬워지고, 확장성과 유연성이 높은만큼 비용이 생각 보다 클 수 있는데 그러한 점을 모두 고려해 제약조건을 둔 아키텍쳐를 Frugal Architecture라고 합니다. 주니어 엔지니어로써 인지해야할 포인트라고 생각했습니다. (우리회사는 온프레미스환경이지만요)

온프레미스 Kubernetes 환경에서 nfs로 데이터 영속성(pv) 설정

Sun, 28 Apr 2024 00:00:00 +0000

마스터 서버

1. 마스터 서버 NFS 서버 설치

nfs (Network File System) 설치 apt-get install nfs-kernel-server
nfs 서버 기동 systemctl start nfs-server

2. 공유 디렉토리 지정

지정할 공유 디렉토리 생성 mkdir /data/nfsk8s
공유 디렉토리 지정 vim /etc/expoerts 맨 아래줄에 <디렉토리 경로> <\IP>(<권한>) 항목 추가 권한 삽입 시 띄어쓰기 하지말것 (ro, rw) X → (ro,rw) O 모든 IP에 대해 권한 적용 /data/nfsk8s *(rw,sync,no_root_squash)

이후 nfs 재시작 systemctl restart nfs-server

nfs 옵션

내가 겪은 Kubernetes 오류들

Thu, 25 Apr 2024 00:00:00 +0000

모니터링 서버(prometheus, zabbix)를 구축하기 위해 온프레미스 환경에서 kubeadm을 사용해 클러스터를 구성 할 때 제가 겪은 오류들을 정리합니다.

1.

Unable to connect to the server: x509:
certificate signed by unknown authority
(possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes")

kubeadm init 혹은 kubeadm join을 할때 생기는 오류 입니다. 주로 이전에 사용하거나 잘못된 config를 사용할때 발생합니다.

rm -rf ~/.kube
mkdir ~/.kube
cp -i /etc/kubernetes/admin.conf ~/.kube/config
chown $(id -u):$(id -g) ~/.kube/config

Docker - Ubuntu에 git 설치: 이미지 만들기

Mon, 18 Mar 2024 00:00:00 +0000

Docker를 이용해 git 이 설치된 우분투 이미지를 만들어보겠습니다

1. Vanilia Ubuntu 실행

아무것도 설치되어 있지 않은 우분투 이미지를 실행하겠습니다.

docker run -it --name velog-docker ubuntu:latest
velog-docker라는 이름으로 만들고, ubuntu레포지터리의 latest태그를 사용해 이미지를 이용해 컨테이너를 실행한다는 뜻 입니다.

docker run -it --name velog-docker ubuntu:latest
Unable to find image 'ubuntu:latest' locally
latest: Pulling from library/ubuntu
f4bb4e8dca02: Already exists
Digest: sha256:77906da86b60585ce12215807090eb327e7386c8fafb5402369e421f44eff17e
Status: Downloaded newer image for ubuntu:latest
root@edd8a22995f6:/#

저는 이전에 실행해본적이 있어서 Already exists가 떴습니다. ubuntu에 접속해 bash 에 접속했습니다. 이후 git --version 명령어를 실행하면 git커맨드를 찾을 수 없다고 뜹니다. 아직 설치를 안했기 때문에 당연합니다.

Minikube를 이용하여 쿠버네티스 실습해보기

Sun, 10 Mar 2024 00:00:00 +0000

subicura 님의 글을 보고 실습을 진행 했습니다.

minukube와 kubectl을 설치 했다면 바로 실습을 진행 할 수 있습니다.

Minikube 란

miniKube는 macOs, Linux 및 Windows에서 로컬 Kubernetes 클러스터를 빠르게 설정해주는 도구이다. 즉, miniKube를 이용하면 손쉽게 로컬에서 쿠버네티스 클러스터를 만들 수 있다. 심지어 여러 클러스터를 관리하는 것도 가능하다. 쿠버네티스 클러스터를 실행하려면 최소한 sceduler, controller, api-server, etcd, kubelet, kube-proxy를 설치해야 하고 필요에 따라 dns, ingress controller, storage class등을 설치해야 한다. 쿠버네티스는 설치 또한 중요한 과정이지만 처음 공부할땐 설치보단 실질적인 사용법을 익히는 게 중요하다. 이러한 설치를 쉽고 빠르게 하기 위한 도구가 minikube이다. minikube는 windows, macOs, linux에서 사용할 수 있고 다양한 가상 환경을 지원하여 대부분의 환경에서 문제없이 동작한다. 출처

React의 라우팅을 Next.js 처럼 - vite-plugin-next-react-router

Mon, 26 Feb 2024 00:00:00 +0000

강의를 듣다 vite-plugin-next-react-router의 설치가 강의녹화 시점과 현재의 버전이 달라 동작이 안되는 에러가 발생했습니다. 공식깃허브와 블로그를 참고하여 에러 해결을 진행했습니다.

1. vite 프로젝트 생성

yarn create vite로 vite 프로젝트를 생성 합니다.

➜ yarn create vite
yarn create v1.22.19
(node:11216) [DEP0040] DeprecationWarning: The `punycode` module is deprecated. Please use a userland alternative instead.
(Use `node --trace-deprecation ...` to show where the warning was created)
[1/4] 🔍 Resolving packages...
[2/4] 🚚 Fetching packages...
[3/4] 🔗 Linking dependencies...
[4/4] 🔨 Building fresh packages...
success Installed "create-vite@5.1.0" with binaries:
 - create-vite
 - cva
✔ Project name: … vite-practice
✔ Select a framework: › React
✔ Select a variant: › TypeScript

Scaffolding project in /Users/location/toyour/project/vite-practice...

Done. Now run:

 cd vite-practice
 yarn
 yarn dev

✨ Done in 13.75s.

프로젝트명을 입력하고 상황에 맞게 선택하면 됩니다. 저는 React와 Typescript를 선택했습니다.

Next.js 프로젝트에 SSG 적용하기

Sun, 11 Feb 2024 00:00:00 +0000

제 홈페이지는 next.js로 만들어져 있습니다. 여기의 Project탭과 Career탭을 작은 웹 페이지지만 SSG로 pre-rendering해보고 싶어서 하게 되었습니다.

이 페이지에 적용 해보겠습니다.

개발환경 Next.js 13 Typescript

1. 기존의 코드

import thumbnailLively from '../public/images/works/Lively_main.png';
import thumbnailWhatCandy from '../public/images/works/whatCandy.png';
import thumbnailSpotify from '../public/images/works/know-your-spotify.png';


const Projects = () => {
 return (
 <Container>
 <Heading as="h3" fontSize={20} mb={4}>
 Projects
 </Heading>
 <Layout title="works">
 <Section>
 <ProjectGridItem title="Lively" thumbnail={thumbnailLively} gitRepo="Lively">
			 설명 ~~~...
 </ProjectGridItem>
 </Section>
 <Section>
 <ProjectGridItem title="what candy" thumbnail={thumbnailWhatCandy} gitRepo="what-candy">
			 설명 ~~~...
 </ProjectGridItem>
 </Section>
 <Section>
 <ProjectGridItem title="know your Spotify" thumbnail={thumbnailSpotify} gitRepo="know-your-spotify">
			 설명 ~~~...
 </ProjectGridItem>
 </Section>
 </Layout>
 </Container>
 );
};

기존엔 이와 같이 컴포넌트에 props 값을 넘겨주고 렌더링 했습니다.

Spotify API 사용 (Node.js, express, React)

Wed, 31 Jan 2024 00:00:00 +0000

깃허브 링크

원래 Next.js로 구현해보려 했으나 OAuth2.0기반 로그인도 처음 구현해보는데, Next.js의 숙련도도 부족해 Node.js + Express + React로 구현했습니다.

1. Spotify의 로그인 방식

Spotify 는 OAuth2.0 프레임워크를 사용합니다.

먼저 API를 사용하기위해 필요한건

code : access_token, refresh_token 과 교환하기위함
access_token : 실제 정보를 받기 위해 필요한 토큰
refresh_token : access_token이 만료되면 다시 받기위한 토큰
client_id : 스포티파이 디벨로퍼 앱의 식별번호 (개발자에게 부여)
client_secret : 스포티파이 디벨로퍼 앱의 시크릿 번호 (개발자에게 부여)

흐름은 1.client_secret, client_id (스포티파이 개발자 대쉬보드에서 발급) 2.code발급 3.access_token,refresh_token 발급 4.access_token을 이용해 API사용 가능 5.access_token만료 시 refresh_token을 이용해 다시 발급 이후 다시 4번 > 5번 > 4번 > 5번 … 이 됩니다.

CSR, SSR의 데이터 패칭

Fri, 26 Jan 2024 00:00:00 +0000

개발하다보면 만나게 되는 CSR, SSR 이 두가지의 방식으로 next.js에서 get요청으로 json 데이터를 받아오는걸 해보겠습니다.

1. CSR, SSR의 차이

CSR (Client-Side Rendering)

개념 웹의 초기 로딩시, 서버는 HTML과 기본적인 자바스크립트 코드만 클라이언트에게 보내며, 실제로 보이는 내용은 비어있는 상태.
동작 방식 클라이언트에서 자바스크립트 코드가 실행되면, 클라이언트는 서버에 필요한 데이터를 요청해 받아온 후, 그 데이터를 이용해 동적으로 화면을 구성하고 렌더링함.

SSR(Server-Side Rendering)

개념 웹의 초기 로딩시, 서버에서 초기 HTML을 완성하여 클라이언트에게 전달하므로, 초기 로딩 시 이미 완성된 HTML이 화면에 나타남.

Next.js getStaticProps()에 대해서

Tue, 23 Jan 2024 00:00:00 +0000

안녕하세요. Next.js의 특징중 하나인 pre-rendering에 대해 알아보겠습니다.

1. pre-rendering

데이터 불러오기에 대해 이야기하기 전에 Next.js에서 가장 중요한 개념 중 하나에 대해 이야기해 보겠습니다: 프리 렌더링. 기본적으로 Next.js는 모든 페이지를 미리 렌더링합니다. 즉, 클라이언트 측 자바스크립트가 모든 작업을 수행하는 대신 Next.js가 각 페이지의 HTML을 미리 생성합니다. 사전 렌더링은 성능과 SEO를 개선할 수 있습니다. 생성된 각 HTML은 해당 페이지에 필요한 최소한의 자바스크립트 코드와 연결됩니다. 브라우저에서 페이지가 로드되면 해당 JavaScript 코드가 실행되어 페이지가 완전한 대화형 페이지로 만들어집니다. (이 프로세스를 하이드레이션이라고 합니다.)