Ai2 3번째 글# BERT, MLM Loss BERT는 Bidirectional Encoder Representations from Transformers의 약자로, 2018년에 Google에서 개발한 사전 학습된(pre-trained) 언어 모델입니다. 트랜스포머라는 신경망 아키텍처를 사용하여 문장을 양방향으로(bidirectionally) 처리함으로써 문장에 포함된 단어 간의 관계를 학습할 수 있습니다.지금으로부터 벌써 5년 전 모델이지만, 몇 가지 중요한 점 때문에 BERT 모델은 현재까지도 많이 언급되는 논문입니다. 우선 BERT 모델은 트랜스포머 아키텍처의 인코더(Encoder)만 사용하고 디코더(Decoder)는 사용하지 않습니다.원래 트랜스포머 아키텍처에서 디코더는 모델이 다른 언어로 된 단어 시퀀스를 생성해야 하는 기계 번역과 같은 .. 2023. 3. 8. 2번째 글# MLOps와 Kubernetes, Data pipeline MLOps의 핵심 과제 중 하나는 머신 러닝 워크로드를 지원하는 데 필요한 인프라와 리소스를 관리하는 것입니다.바로 여기에 Kubernetes가 등장합니다. Kubernetes는 조직이 컨테이너화된 애플리케이션과 워크로드를 배포, 확장, 관리할 수 있도록 지원하는 오픈소스 컨테이너 오케스트레이션 플랫폼입니다. 조직은 MLOps와 Kubernetes를 결합하여 머신 러닝 워크로드를 보다 효과적으로 관리할 수 있습니다.MLOps에 Kubernetes를 사용할 때의 주요 이점 중 하나는 리소스를 동적으로 관리하고 확장할 수 있다는 점입니다. 이는 워크로드가 매우 예측하기 어렵고 리소스 집약적일 수 있는 머신 러닝에서 매우 중요합니다. 조직은 Kubernetes를 통해 온디맨드 방식으로 리소스를 할당하고 필요에.. 2023. 3. 7. 이전 1 다음
