RAG 란 무엇일까 Retrieval Augmented Generation 의 약자. 말 그대로 찾아온 내용 을 기반으로 LLM 이 답변하게 만드는 방식이다. LLM 이 세상의 모든 최신 문서, 사내 문서, 우리 서비스 DB 내용을 다 알고 있을 수는 없다. 그래서 질문이 들어오면 먼저 관련 문서를 검색하고, 그 검색 결과를 프롬프트에...
앞으로 가야하는 방향
하고 싶은 기술 스택 웹, 앱 어플리케이션 : spring react 데이터 엔지니어링 : spark, airflow, emr, kafka-streaming, spark-streaming, CDC 솔루션 등등 이제 하면 됨. AI 엔지니어링 : rag, openai 미지의 세계. 인강이...
AWS 연구, EC2 ALB EMR 등
리전 IAM 은 리전을 선택하지 않는다. 보통 다 리전을 고름. ec2 등등 가용영역 Availability Zone 데이터 센터 라고 보면됨 서울에 4개 있을 수도 있음. 두 개 이상의 AZ 에 시스템 배치하면 고가용성을 보장하겠지, 판교, 강서에 한대씩~ 엣지 로케이션 (Cloud Front, Global Acceler...
팀 한번 옮기며 깨달은 바들 정리
자주 변하는 서비스를 만들며 구체적인 팁들 데이터 구조 설계할 떄 가능하면 뭐든지 object 로 만들것 그니까 뭐 List<String> 이런건 하면 안됨 뭔가 string 이랑 같이 엮여서 데이터 하나 추가해달라고 하는 경우가 많은듯. List<Dto> 를 써야함 뭔가 fe...
Opensearch 가이드 용 문서
분산형 검색 및 분석 엔진 Elasticsearch 오픈소스 기반으로 Amazon이 유지 중인 Community-Driven Fork 분산 인덱싱 + 검색 엔진 → 대용량 로그, 메트릭, 문서 데이터를 수평 확장으로 처리 REST API 기반으로 쉽게 접근 (/_search, /_cat/indices 등)...
요즘 우아한 개발
온보딩 요구사항 분석 -> 설계 -> 문서화 -> 임무 분담 -> 개발 -> 배포 -> 회고 를 그대로 경험하게 하자. 개발문화 공유에 대한 심리적 문턱이 낮은문화 우리회사는 글 쓰는데 검증하고, 허락받고 전혀 하고싶지않은 구조로 몰고감 ㅋㅋ 페어 프로그래밍 강추 ...
slack 봇 만들며 깨달은 후기
nextjs 는 신이다. 자바따위랑 비교가 안되는 고속 애플리케이션 개발 가능. 근데 회사에서 deploy 하는게 너무 힘들다. npm build, docker from 전부다 프록시태워야해서 개 혈압오름. typescript 는 진짜로 그 production level application 만들때...
Next.js 내가 몰랐던거만 정리한 요약 (실전에서 바로 쓰는 Next.js)
책 정보 실전에서 바로 쓰는 Next.js 미셸 리바 yes24 큰 특징 요약 정적 사이트, 증분 정적 컨텐츠 생성 파일 기반 라우팅 이미지 최적화 자동폴리필 리액트 잡다한 팁 npx create-next-app my-app --example with-docker 디렉토리 page...
비 그친 오후의 헌책방 1,2
책 정보 비 그친 오후의 헌책방 야기사와 사토시 yes24 잔잔하다 독서의 묘미를 다시 알려주는 책 가족애 비오는 날 습한, 골동품 냄새나는 책
Kafka 맨날 까먹는거만 정리
그냥 줄글로 다 남긴다 log.retention.ms , log.retention.byte 토픽당 설정한만큼 record 들이 살아남음 브로커 복제 ISR 카프카는 보통 브로커 3대를 권장함 partition 1, replication 2개면 원본 1개와 복제본 2. broker 보단 크게 설정 못...