wildpieces

AIMessageChunkLangChain의 AWS Bedrock용 챗 모델을 스트리밍 방식으로 호출할 때, 모델의 답변을 chunk 단위로 받아올 때 사용하는 객체ChatBedrockConverse.stream(...)전체 응답을 한번에 돌려주지 않고, 작은 조각씩(AIMessageChunk) 반환Attributeschunk.content: [{"type": "text", "text", "..."}] 형태의 리스트, 해당 청크의 실제 텍스트를 담고 있음chunk.response_metadata: Bedrock API가 반환하는 응답 메타데이터(ex: 지연 시간 등)를 포함chunk.usage_metadata: 토큰 사용량 등 호출 메타데이터를 담고 있음

What is Vector Embedding?단어는 어떤 텍스트의 공간 안에서 관계가 있다. sementic search는 그 관계를 찾아주는 것.컴퓨터는 이 관계들을 어떻게 알 수 있나?단어를 좌표공간에 표현하면 어떨까? 그래서 숫자로 표현함. 방향과 크기를 가진 벡터로 표현함 -> 벡터 임베딩텍스트를 벡터로 변환하기 위해 embedding model 을 사용함. 딥러닝 기반의 transformer 아키텍처를 사용해서 단순 단어반 보는 것이 아니라 (word2vec) 문맥, 전체 의미를 활용해서 벡터로 만들어줌.유사한 벡터 = 유사한 의미와 맥락이러한 특징을 사용해서 결과를 찾아주는게 semantic search의 핵심 How Sementic search works?- vector- model- em..

프로젝트별 Python 버전 관리Step 1. Homebrew 로 pyenv 설치brew updatebrew install pyenv# 설치확인pyenv --versionStep 2. Shell setting(zsh 기준)echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zprofile# PYENV_ROOT라는 환경변수를 설정, pyenv의 설치 경로를 $HOME/.pyenv로 지정# pyenv가 설치되고 관리되는 기본폴더임.# >> ~/.zprofile: 로그인 쉘에서 실행되도록 함echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.zprofile# pyenv 실행파일들이 들어있는 경로($PYENV_ROOT/bin)를 PATH 환경 변..

y = Wx + bnn.Linear(in_features, out_features)x: 입력 벡터 (크기: in_features)W: 가중치 행렬 (크기: out_features * in_features)b: 편향 벡터 (크기: out_features)y: 출력 벡터 (크기: out_features)=> 입력 벡터 x를 선형 변환해서 출력 벡터 y를 만들어주는 레이어사용예시import torchimport torch.nn as nnlinear = nn.Linear(in_features=3, out_features=2)x = torch.tensor([[1.0, 2.0, 3.0]]) # shape: (1, 3)y = linear(x) # shape: (1, 2)print(y)3차원을 입력 받아서 2차원으로 ..

Referenceshttps://simsim231.tistory.com/95https://heeya-stupidbutstudying.tistory.com/entry/ML-%EC%8B%A0%EA%B2%BD%EB%A7%9D%EC%97%90%EC%84%9C%EC%9D%98-Optimizer-%EC%97%AD%ED%95%A0%EA%B3%BC-%EC%A2%85%EB%A5%98https://musstafa0804.medium.com/optimizers-in-deep-learning-7bf81fed78a0

피처맵들의 피처맵을 만드는 작업장점피처맵만 보고도 어떤 패턴이 있는지 알 수 있음연산이 줄어듬. 풀링 과정에는 별도 파라메터나 복잡한 연사닝 필요하지 않음Pooling methodMax pooling: 최대값 추출Min pooling: 최소값 추출Mean pooling: 평균을 내어 추출Referenceshttps://velog.io/@nochesita/%EB%A0%88%EC%9D%B4%EC%96%B4-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0-3-Pooling

Transformer 모델에서 더 좋은 성능을 내기 위해 사용깊이가 깊은 신경망에서 하위층에서 학습된 정보가 손실되는 문제를 방지하기 위한 방법 Exploding gradient problemVanishing gradient problem해결 아이디어일부 레이어를 건너뛰어 데이터가 신경망 구조의 후반부에 도달하는 또 다른 경로를 제공해서 gradient가 계속 커지거나 작아지는 문제를 해결 Referenceshttps://channelai.tistory.com/2https://heeya-stupidbutstudying.tistory.com/entry/DL-Exploding-Vanishing-gradient-%EB%AC%B8%EC%A0%9C%EC%99%80-Residual-Connection%EC%9E%9..