wildpieces

  • 홈
  • 태그
  • 방명록

langchain 1

AWS Bedrock 사용기

AIMessageChunkLangChain의 AWS Bedrock용 챗 모델을 스트리밍 방식으로 호출할 때, 모델의 답변을 chunk 단위로 받아올 때 사용하는 객체ChatBedrockConverse.stream(...)전체 응답을 한번에 돌려주지 않고, 작은 조각씩(AIMessageChunk) 반환Attributeschunk.content: [{"type": "text", "text", "..."}] 형태의 리스트, 해당 청크의 실제 텍스트를 담고 있음chunk.response_metadata: Bedrock API가 반환하는 응답 메타데이터(ex: 지연 시간 등)를 포함chunk.usage_metadata: 토큰 사용량 등 호출 메타데이터를 담고 있음

AWS 2025.05.08
이전
1
다음
더보기
프로필사진

wildpieces

https://github.com/wildpieces

  • 분류 전체보기 (8)
    • Deep learning (4)
    • Agentic AI (0)
    • Dev (1)
    • AWS (2)
    • Lecture (1)

Tag

pyenv, bedrock, dl, chunk, deeplearning, Python, virtualenv, SGD, dropout, langchain, pytorch, 가상환경, Optimizer, aws, residual connection, pooling, vanishing gradient, deep learning, Adam, Activation Function,

Copyright © Kakao Corp. All rights reserved.

티스토리툴바