대규모 언어 모델(large language model, LLM)은 많은 매개변수를 가진 언어 모델을 가리킨다. 언어 모델은 문맥 안에서 토큰이나 토큰의 배열이 나타날 가능성을 다루며, 토큰은 단어 전체와 항상 일치하지 않는 처리 단위다. 글을 생성하는 모델은 앞선 문맥을 바탕으로 이어질 토큰을 선택하는 방식으로 출력을 만들 수 있다. [[프롬프트]]에 제공한 자료와 [[검색 증강 생성]]으로 가져온 자료는 모델을 학습할 때 사용한 자료와 구분할 필요가 있다.

대화 화면 하나에는 모델 외에도 검색, 파일 처리, 실행 도구 같은 구성 요소가 붙을 수 있다. 따라서 어떤 서비스를 시험한 결과를 모델 하나의 성질로 곧바로 일반화하지 않는 편이 좋다.

- 짧은 요약부터 하나 해보자.
- 긴 문서의 사실 확인은 별도로. [[과제별 모델 관찰 기록]]에 결과를 나누어 적자.

[[토큰과 문맥 길이]]는 긴 자료를 넣었을 때 무엇이 전달되고 무엇이 빠지는지 살펴볼 다음 주제다.

## 참고

- [구글, 기계 학습 용어집](https://developers.google.com/machine-learning/glossary)

#개념 #인공지능 #글쓰기