내 맘대로 Python FastAPI
내 맘대로 Python FastAPI
내 맘대로 팀 입사 교육과정 공통편을 먼저 보고, 파이썬 / FastAPI 로 이어지는 부분만 따로 적었다.
- 실습 Repo : https://github.com/OsoriAndOmori/developer-guide-python
- 파이썬 런타임과 동시성
- 코루틴
- 2 x 2 예시
- 이벤트루프 막힘
- GIL
- 한 프로세스에서 한 스레드만
- I/O 대기 중 GIL 해제
- CPU 는 프로세스로
- 실습) 스레드 / 프로세스 / asyncio 로 CPU 작업, I/O 작업 시간 비교
- 서버를 직접 만들며 배우기 : WSGI -> ASGI -> FastAPI
- 2-1. WSGI 서버 만들기 (스레드풀)
- 단일 스레드 서버
- 스레드풀 붙이기
- WSGI 인터페이스
- 스레드 고갈 체험
- 실습) 직접 만든 WSGI 서버에서 boto3(LocalStack S3) 호출
- 스레드를 무한정 늘리면 안 될까?
- 2-2. ASGI 서버 만들기 (이벤트루프)
- select 로 미니 이벤트루프
- asyncio 로 전환
- ASGI 인터페이스
- 직접 만든 앱을 진짜 uvicorn 으로 띄워보기
- 실습) selector 루프, asyncio 서버, 미니 ASGI 서버
- 이벤트루프 막힘 체험
- 2-3. FastAPI 보기
- 미니 라우터
@app.get - 타입 힌트로 파라미터 주입
- 진짜 FastAPI 로 바꿔보기
defvsasync defasync defdefasync def안의 동기 코드- boto3
- 스레드풀 크기
- 실습) 같은 boto3(LocalStack S3) 호출을
async def/def/to_thread/aioboto3로 비교 - 멀티프로세스
uvicorn --workers N- 실습) 응답에 PID 찍어서 분산 확인
- 미니 라우터
- 2-4. 용도에 맞게 서버 고르기 (마무리)
- 실습) 같은 요청을 서버를 바꿔가며 많이 보내기
- 성능 차이의 본질
- ASGI 가 맞는 경우
- WSGI 로 충분한 경우
- ASGI 에서 블로킹 호출은 장애
- 우리 팀 서비스에는 무엇이 맞을까?
- 더 알아보면 좋은 것 :
asyncio.to_thread,aioboto3, boto3 커넥션 풀(max_pool_connections), fork 이슈
- 2-1. WSGI 서버 만들기 (스레드풀)
- 공통편에 얹히는 파이썬 항목
- DB
- 드라이버
- SQLAlchemy 세션과 연결 풀
- 세션은 스레드 안전하지 않다
- 커넥션 풀 크기 산정 : 워커 수 x (pool_size + max_overflow) <= DB max connections
- 트랜잭션 묶기
- 실습) MySQL 8 + Adminer (docker compose)
- 인덱스와 EXPLAIN
- 격리 수준과 락
- 데드락
- 커넥션 풀 고갈과 트랜잭션 안의 외부 호출
- 파이썬에서 트랜잭션 묶기
- 대량 insert와 큰 결과 읽기
- 캐시와 타임아웃
- 로컬 캐시 (
functools.lru_cache,cachetools)- 멀티 프로세스에서 로컬 캐시의 함정
- 각 구간 타임아웃 : httpx / boto3 / DB / uvicorn / LB
asyncio.timeout과 취소 전파 (스레드로 넘어간 블로킹 호출은 취소가 안 된다!)
- 로컬 캐시 (
- Web / 배포
- uvicorn 을 직접 노출하면 안 되는 이유
- Docker : 컨테이너 CPU 제한과 워커 수
- 컨테이너 안
os.cpu_count()함정
- 컨테이너 안
- 로깅 / 모니터링
logging설정, 구조화 로그(JSON), request-id 전파 (contextvars— 이벤트루프에서도 안전한 이유)- prometheus-client / OpenTelemetry + grafana
- 꼭 볼 지표 : 이벤트루프 lag, 스레드풀 사용량, 워커별 RSS, boto3 커넥션 풀 대기
- 일부러 스레드풀 소진 / 루프 막기 → 대시보드에서 관찰
- 프로파일링 :
py-spy(실행 중 프로세스 덤프),tracemalloc, memray
- 테스트
- pytest, fixture, parametrize
moto/localstack로 AWS mock,pytest-asyncio/anyio- 테스트 데이터는 별도 factory 로 (
polyfactory등) - “mock 이 성공했는데 운영에서 터지는” 경험 : 왜 통합 테스트도 필요한가
- 성능 테스트
- 2번에서 만든 서버로 “병목이 어디인지” 맞추기
- 이벤트루프? 스레드풀? 워커 수? DB 풀?
- 2번에서 만든 서버로 “병목이 어디인지” 맞추기
- 아키텍처 설계
- 우리 스택(FastAPI 워커 수 x 스레드풀, DB 커넥션 풀)으로 동시 요청을 몇 개까지 받을 수 있는지 계산해보기
- 코딩 스킬
- 파이썬스러움 (comprehension, generator, context manager) vs 과한 마법
- 매일 15분 정도 표준 라이브러리 / FastAPI / Starlette 코드 읽기
- DB
더 알아보면 유용할 주제
- Docker / docker-compose 로 localstack + 앱 띄우기
- Celery / Arq / SQS 워커 : 요청 밖에서 처리하기
- Kafka, Airflow / Dagster 등 워크플로우
- Rust 확장 (pydantic-core, polars 가 왜 빠른가)
- Kubernetes
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.