포스트

내 맘대로 Python FastAPI

내 맘대로 Python FastAPI

내 맘대로 팀 입사 교육과정 공통편을 먼저 보고, 파이썬 / FastAPI 로 이어지는 부분만 따로 적었다.

  • 실습 Repo : https://github.com/OsoriAndOmori/developer-guide-python
  1. 파이썬 런타임과 동시성
    • 코루틴
    • 2 x 2 예시
    • 이벤트루프 막힘
    • GIL
      • 한 프로세스에서 한 스레드만
      • I/O 대기 중 GIL 해제
      • CPU 는 프로세스로
    • 실습) 스레드 / 프로세스 / asyncio 로 CPU 작업, I/O 작업 시간 비교
  2. 서버를 직접 만들며 배우기 : WSGI -> ASGI -> FastAPI
    • 2-1. WSGI 서버 만들기 (스레드풀)
      • 단일 스레드 서버
      • 스레드풀 붙이기
      • WSGI 인터페이스
      • 스레드 고갈 체험
      • 실습) 직접 만든 WSGI 서버에서 boto3(LocalStack S3) 호출
      • 스레드를 무한정 늘리면 안 될까?
    • 2-2. ASGI 서버 만들기 (이벤트루프)
      • select 로 미니 이벤트루프
      • asyncio 로 전환
      • ASGI 인터페이스
      • 직접 만든 앱을 진짜 uvicorn 으로 띄워보기
      • 실습) selector 루프, asyncio 서버, 미니 ASGI 서버
      • 이벤트루프 막힘 체험
    • 2-3. FastAPI 보기
      • 미니 라우터 @app.get
      • 타입 힌트로 파라미터 주입
      • 진짜 FastAPI 로 바꿔보기
      • def vs async def
        • async def
        • def
        • async def 안의 동기 코드
        • boto3
        • 스레드풀 크기
      • 실습) 같은 boto3(LocalStack S3) 호출을 async def / def / to_thread / aioboto3 로 비교
      • 멀티프로세스
        • uvicorn --workers N
        • 실습) 응답에 PID 찍어서 분산 확인
    • 2-4. 용도에 맞게 서버 고르기 (마무리)
      • 실습) 같은 요청을 서버를 바꿔가며 많이 보내기
      • 성능 차이의 본질
      • ASGI 가 맞는 경우
      • WSGI 로 충분한 경우
      • ASGI 에서 블로킹 호출은 장애
      • 우리 팀 서비스에는 무엇이 맞을까?
    • 더 알아보면 좋은 것 : asyncio.to_thread, aioboto3, boto3 커넥션 풀(max_pool_connections), fork 이슈
  3. 공통편에 얹히는 파이썬 항목
    • DB
      • 드라이버
      • SQLAlchemy 세션과 연결 풀
        • 세션은 스레드 안전하지 않다
      • 커넥션 풀 크기 산정 : 워커 수 x (pool_size + max_overflow) <= DB max connections
      • 트랜잭션 묶기
      • 실습) MySQL 8 + Adminer (docker compose)
        • 인덱스와 EXPLAIN
        • 격리 수준과 락
        • 데드락
        • 커넥션 풀 고갈과 트랜잭션 안의 외부 호출
        • 파이썬에서 트랜잭션 묶기
        • 대량 insert와 큰 결과 읽기
    • 캐시와 타임아웃
      • 로컬 캐시 (functools.lru_cache, cachetools)
        • 멀티 프로세스에서 로컬 캐시의 함정
      • 각 구간 타임아웃 : httpx / boto3 / DB / uvicorn / LB
      • asyncio.timeout 과 취소 전파 (스레드로 넘어간 블로킹 호출은 취소가 안 된다!)
    • Web / 배포
      • uvicorn 을 직접 노출하면 안 되는 이유
      • Docker : 컨테이너 CPU 제한과 워커 수
        • 컨테이너 안 os.cpu_count() 함정
    • 로깅 / 모니터링
      • logging 설정, 구조화 로그(JSON), request-id 전파 (contextvars — 이벤트루프에서도 안전한 이유)
      • prometheus-client / OpenTelemetry + grafana
        • 꼭 볼 지표 : 이벤트루프 lag, 스레드풀 사용량, 워커별 RSS, boto3 커넥션 풀 대기
        • 일부러 스레드풀 소진 / 루프 막기 → 대시보드에서 관찰
      • 프로파일링 : py-spy (실행 중 프로세스 덤프), tracemalloc, memray
    • 테스트
      • pytest, fixture, parametrize
      • moto / localstack 로 AWS mock, pytest-asyncio / anyio
      • 테스트 데이터는 별도 factory 로 (polyfactory 등)
      • “mock 이 성공했는데 운영에서 터지는” 경험 : 왜 통합 테스트도 필요한가
    • 성능 테스트
      • 2번에서 만든 서버로 “병목이 어디인지” 맞추기
        • 이벤트루프? 스레드풀? 워커 수? DB 풀?
    • 아키텍처 설계
      • 우리 스택(FastAPI 워커 수 x 스레드풀, DB 커넥션 풀)으로 동시 요청을 몇 개까지 받을 수 있는지 계산해보기
    • 코딩 스킬
      • 파이썬스러움 (comprehension, generator, context manager) vs 과한 마법
      • 매일 15분 정도 표준 라이브러리 / FastAPI / Starlette 코드 읽기

더 알아보면 유용할 주제

  1. Docker / docker-compose 로 localstack + 앱 띄우기
  2. Celery / Arq / SQS 워커 : 요청 밖에서 처리하기
  3. Kafka, Airflow / Dagster 등 워크플로우
  4. Rust 확장 (pydantic-core, polars 가 왜 빠른가)
  5. Kubernetes
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.