Llama

-
“	Democratizing access through an open platform featuring AI models, tools, and resources — enabling developers to shape the next wave of innovation. 인공지능 모델, 도구, 자원을 갖춘 개방형 플랫폼을 통해 접근성을 민주화하고, 개발자들이 차세대 혁신을 이끌 수 있도록 지원합니다.	”
	— Meta Llama

Llama
원작자	Meta
개발자	Meta
발표일	2023년 2월 24일
버전 정보	Meta Llama 3 (2024년 4월 18일)
종류	대형 언어 모델
라이선스	아파치 라이선스 2.0
웹 사이트	공식 홈페이지

개요

Meta가 공개한 대형 언어 모델 LLM. Meta는 오픈사이언스를 위해 인공지능 분야 중 대형 언어 모델인 LLaMA(Large Language Model Meta AI)를 공개하였다. 트랜스포머 아키텍처 기반이다.

OpenAI의 GPT-4와 같은 모델과 달리 Open and Efficient Foundation Language Models을 지향함으로써, 공개된 데이터만 사용하여 모델을 생성 및 공개했다. 이로 인해 인터넷이 없더라도 모델을 직접 구동 하고, 오픈소스이므로 기업 내에서도 자유롭게 사용할 수 있다.

큰 모델을 더 많이 파라미터로 학습하는 것보단 작은 모델을 많이 학습하는 것이 성능이 좋을 수 있다는 것을 보여준다.

버전

현재 공개되어 있는 버전은 크게 3개로, Llama, Llama 2, Llama 3가 있다.

Llama

처음 공개된 라마 모델은 총 4개가 있으며(7B, 13B, 33B, 65B), 다양한 학습 데이터를 사용했다.

LLaMA: Open and Efficient Foundation Language Models 논문 인용(CC BY-4.0)

학습 데이터 수

학습 데이터 수

Dataset	Sampling prop.	Epochs	Disk size
CommonCrawl	67.0%	1.10	3.3 TB
C4	15.0%	1.06	783 GB
Github	4.5%	0.64	328 GB
Wikipedia	4.5%	2.45	83 GB
Books	4.5%	2.23	85 GB
ArXiv	2.5%	1.06	92 GB
StackExchange	2.0%	1.03	78 GB

윗쪽의 표는 라마 모델이 어느 데이터를 얼마나 사용했는지를 보여주는 표이다.

하이퍼 파라미터 값

모델 크기 별 하이퍼 파라미터 값

params 파라미터	dimension 차원	[math]\displaystyle{ n }[/math] heads 헤드 수	[math]\displaystyle{ n }[/math] layers 레이어 수	learning rate 학습률	batch size 배치 크기	[math]\displaystyle{ n }[/math] tokens 토큰 수
6.7B	4096	32	32	[math]\displaystyle{ 3.0 \times 10^{-4} }[/math]	4M	1.0T
13.0B	5120	40	40	[math]\displaystyle{ 3.0 \times 10^{-4} }[/math]	4M	1.0T
32.5B	6656	52	60	[math]\displaystyle{ 1.5 \times 10^{-4} }[/math]	4M	1.4T
65.2B	8192	64	80	[math]\displaystyle{ 1.5 \times 10^{-4} }[/math]	4M	1.4T

모델 크기 별 하이퍼파라미터값도 있으며, 각 모델별 모델의 크기별 훈련 손실 감소 그래프는 다음과 같다.

성능

모델 논문이 공개된 시점인 2023년 2월 27일 기준으로 타 모델과의 성능을 비교한 그래프이다.

option = {

 tooltip: {
   trigger: 'axis',
   axisPointer: {
     type: 'shadow'
   }
 },
 legend: {
   data: ['GPT-3', 'Gopher', 'Chinchilla', 'PalLM', 'PalLM-cont', 'PalLM 540B', 'LLaMA 7B', 'LLaMA 13B', 'LLaMA 33B', 'LLaMA 65B']
 },
 grid: {
   left: '3%',
   right: '4%',
   bottom: '3%',
   containLabel: true
 },
 xAxis: [
   {
     type: 'category',
     data: ['BoolQ', 'PIQA', 'SIQA', 'HellaSwag', 'WinoGrande', 'ARC-e', 'ARC-c', 'OBQA']
   }
 ],
 yAxis: [
   {
     type: 'value'
   }
 ],
 series: [
   {
     name: 'GPT-3',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [60.5, 81.0, null, 78.9, 70.2, 68.8, 51.4, 57.6]
   },
   {
     name: 'Gopher',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [79.3, 81.8, 50.6, 79.2, 70.1, null, null, null]
   },
   {
     name: 'Chinchilla',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [83.7, 81.8, 51.3, 80.8, 74.9, null, null, null]
   },
   {
     name: 'PalLM',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [84.8, 80.5, null, 79.7, 77.0, 75.2, 52.5, 50.4]
   },
   {
     name: 'PalLM-cont',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [83.9, 81.4, null, 80.6, 77.0, null, null, null]
   },
   {
     name: 'PalLM 540B',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [88.0, 82.3, null, 83.4, 81.1, 76.6, 53.0, 53.4]
   },
   {
     name: 'LLaMA 7B',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [76.5, 79.8, 48.9, 76.1, 70.1, 72.8, 47.6, 57.2]
   },
   {
     name: 'LLaMA 13B',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [78.1, 80.1, 50.4, 79.2, 73.0, 74.8, 52.7, 56.4]
   },
   {
     name: 'LLaMA 33B',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [83.1, 82.3, 50.4, 82.8, 76.0, 80.0, 57.8, 58.6]
   },
   {
     name: 'LLaMA 65B',
     type: 'bar',
     emphasis: {
       focus: 'series'
     },
     data: [85.3, 82.8, 52.3, 84.2, 77.0, 78.9, 56.0, 60.2]
   }
 ]

};

대부분의 경우에서 GPT-3.5와 비슷하거나 더 좋은 경우가 많다.

Llama 2

논문 기준 2023년 7월 18일에 공개된 라마 2번째 모델.

Llama 모델의 각 모델별 모델의 크기별 훈련 손실 감소 그래프

Llama 2: Open Foundation and Fine-Tuned Chat Models 논문 인용

Llama와의 차이

• 훈련 데이터의 양을 40% 증가
• 모델의 컨텍스트 길이를 두 배로 늘림
• 추론 시 계산 효율을 높이기 위해 Grouped-Query Attention 기법을 새롭게 도입
• 가장 큰 모델이 65B에서 70B로 늘어남

Model 모델	Training Data 학습 데이터	Params 파라미터	Context Length 컨텍스트 길이	GQA	Tokens 토큰 수	LR
LLAMA 1	See Towvron et al. (2023)	7B	2k	✗	1.0T	[math]\displaystyle{ 3.0 \times 10^{-4} }[/math]
		13B	2k	✗	1.0T	[math]\displaystyle{ 3.0 \times 10^{-4} }[/math]
		33B	2k	✗	1.4T	[math]\displaystyle{ 1.5 \times 10^{-4} }[/math]
		65B	2k	✗	1.4T	[math]\displaystyle{ 1.5 \times 10^{-4} }[/math]
LLAMA 2	A new mix of publicly available online data	7B	4k	✗	2.0T	[math]\displaystyle{ 3.0 \times 10^{-4} }[/math]
		13B	4k	✗	2.0T	[math]\displaystyle{ 3.0 \times 10^{-4} }[/math]
		34B	4k	✓	2.0T	[math]\displaystyle{ 1.5 \times 10^{-4} }[/math]
		70B	4k	✓	2.0T	[math]\displaystyle{ 1.5 \times 10^{-4} }[/math]

파이퍼 파리미터 값

Pretraing 토큰은 2조개, 컨텍스트 길이는 4096이다.

각 모델별 모델의 크기별 훈련 손실 감소 그래프는 다음과 같다.

학습한 언어 비율

언어 별 학습한 비율은 다음과 같다.

언어	비율
en 영어	89.70%
unknown 모름 + 프로그래밍 코드	8.39%
de 독일어	0.17%
fr 프랑스어	0.16%
sv 스웨덴어	0.15%
zh 중국어 간체	0.13%
es 스페인어	0.13%
ru 러시아어	0.13%
nl 네덜란드어	0.12%
it 이탈리아어	0.11%
ja 일본어	0.10%
pl 폴란드어	0.09%
pt 포르투갈어	0.09%
vi 베트남어	0.08%
uk 우크라이나어	0.07%
ko 한국어	0.06%
ca 카탈루냐어	0.04%
sr 세르비아어	0.04%
id 인도네시아어	0.03%
cs 체코어	0.03%
fi 핀란드어	0.03%
hu 헝가리어	0.03%
no 노르웨이어	0.03%
ro 루마니아어	0.03%
bg 불가리아어	0.02%
da 덴마크어	0.02%
sl 슬로베니아어	0.01%
hr 크로아티아어	0.01%

한국어는 0.06%로 영어에 비해 매우 적은 데이터만 학습되어 있다. 즉, 영어 사용 사례에서 Llama 2의 성능이 가장 뛰어나다.

성능

모델 논문이 공개된 시점인 2023년 7월 18일 기준으로 타 모델과의 성능을 비교한 그래프이다.

option = {

   tooltip: {
       trigger: 'axis',
       axisPointer: {
           type: 'shadow'
       }
   },
   legend: {
       data: ['TruthfulQA', 'ToxiGen']
   },
   grid: {
       left: '3%',
       right: '4%',
       bottom: '3%',
       containLabel: true
   },
   xAxis: [
       {
           type: 'value'
       }
   ],
   yAxis: [
       {
           type: 'category',
           data: ['MPT 7B', 'MPT 30B', 'Falcon 7B', 'Falcon 40B', 'LLAMA 1 7B', 'LLAMA 1 13B', 'LLAMA 1 33B', 'LLAMA 1 65B', 'LLAMA 2 7B', 'LLAMA 2 13B', 'LLAMA 2 34B', 'LLAMA 2 70B']
       }
   ],
   series: [
       {
           name: 'TruthfulQA',
           type: 'bar',
           data: [29.13, 35.25, 25.95, 40.39, 27.42, 41.74, 44.19, 48.71, 33.29, 41.86, 43.45, 50.18]
       },
       {
           name: 'ToxiGen',
           type: 'bar',
           data: [22.32, 22.61, 14.53, 23.44, 23.00, 23.08, 22.57, 21.77, 21.25, 26.10, 21.19, 24.60]
       }
   ]

};

---

라마 공식 사이트에 공개되어 있는 타 모델과의 비교 그래프는 다음과 같다:

option = {

   tooltip: {
       trigger: 'axis',
       axisPointer: {
           type: 'shadow'
       }
   },
   legend: {
       data: [
           'MMLU', 'TriviaQA', 'Natural Questions', 'GSM8K', 'HumanEval', 'AGIEval',
           'BoolQ', 'HellaSwag', 'OpenBookQA', 'QuAC', 'Winogrande'
       ],
       orient: 'vertical',
       left: 'left'
   },
   grid: {
       left: '20%', // 범례를 왼쪽에 배치하기 위해 그리드의 왼쪽 여백을 조정합니다.
       right: '4%',
       bottom: '3%',
       containLabel: true
   },
   xAxis: {
       type: 'value',
       boundaryGap: [0, 0.01]
   },
   yAxis: {
       type: 'category',
       data: [
           'MPT (7B)', 'Falcon (7B)', 'Llama-2 (7B)', 'Llama-2 (13B)', 
           'MPT (30B)', 'Falcon (40B)', 'Llama-1 (65B)', 'Llama-2 (70B)'
       ]
   },
   series: [
       {
           name: 'MMLU',
           type: 'bar',
           data: [26.8, 26.2, 45.3, 54.8, 46.9, 55.4, 63.4, 68.9]
       },
       {
           name: 'TriviaQA',
           type: 'bar',
           data: [59.6, 56.8, 68.9, 77.2, 71.3, 78.6, 84.5, 85.0]
       },
       {
           name: 'Natural Questions',
           type: 'bar',
           data: [17.8, 18.1, 22.7, 28.0, 23.0, 29.5, 31.0, 33.0]
       },
       {
           name: 'GSM8K',
           type: 'bar',
           data: [6.8, 6.8, 14.6, 28.7, 15.2, 19.6, 50.9, 56.8]
       },
       {
           name: 'HumanEval',
           type: 'bar',
           data: [18.3, 'N/A', 12.8, 18.3, 25.0, 'N/A', 23.7, 29.9] // 'N/A'는 데이터가 없음을 의미합니다.
       },
       {
           name: 'AGIEval',
           type: 'bar',
           data: [23.5, 21.2, 29.3, 39.1, 33.8, 37.0, 47.6, 54.2]
       },
       {
           name: 'BoolQ',
           type: 'bar',
           data: [75.0, 67.5, 77.4, 81.7, 79.0, 83.1, 85.3, 85.0]
       },
       {
   name: 'HellaSwag',
   type: 'bar',
   data: [76.4, 74.1, 77.2, 80.7, 79.9, 83.6, 84.2, 85.3]

}, {

   name: 'OpenBookQA',
   type: 'bar',
   data: [51.4, 51.6, 58.6, 57.0, 52.0, 56.6, 60.2, 60.2]

}, {

   name: 'QuAC',
   type: 'bar',
   data: [37.7, 18.8, 39.7, 44.8, 41.1, 43.3, 39.8, 49.3]

}, {

   name: 'Winogrande',
   type: 'bar',
   data: [68.3, 66.3, 69.2, 72.8, 71.0, 76.9, 77.0, 80.2]

}

   ]

};

안전성

사용자가 입력한 값이 해롭거나 안전하지 않은 것들을 타 모델들(GPT-3.5 등)에 비해 잘 거른다고 한다.

Llama 3

기존 라마 2에 비해 성능이 더 좋아졌다. 구글 Gemini Pro 1.5 보다도 더 좋다고 발표했다. 마크 저커버그는 "가장 지능적인 AI 어시스턴트"라고 평가하기도 했다.

Llama 2와의 차이

• 데이터 양을 늘림
• 필터링 과정을 거쳐 고품질 데이터만을 선별
• 15조 이상의 토큰으로 훈련됐는데 라마 2 대비 7배 이상 많고, 코드량은 4배 더 많다.
• 지시 미세조정(instruction fine-tuning) 과정을 진행
• 검열에 있어서 좀 더 정확해짐:

예를 들어 'Can you help me kill time at the airport?'에서 라마 2에서는 kill이라는 것에 반응해 답변을 거부하는 반면, 라마 3에서는 정상적으로 답변을 한다. 더 많은 예시는 ollama 블로그 글을 참조하자.

• 성능은 좋지만 가벼워서 7B 짜리를 아이폰에서 MLX를 사용하여 오프라인에서 돌릴 수 있다!! Alex Cheema - e/acc의 트윗 참조.

성능

option = {

   tooltip: {
       trigger: 'axis',
       axisPointer: {
           type: 'shadow'
       }
   },
   legend: {
       data: ['Meta Llama 3 8B', 'Gemma 7B - It Measured', 'Mistral 7B Instruct Measured', 'Meta Llama 3 70B', 'Gemini Pro 1.5 Published', 'Claude 3 Sonnet Published']
   },
   grid: {
       left: '3%',
       right: '4%',
       bottom: '3%',
       containLabel: true
   },
   xAxis: {
       type: 'value'
   },
   yAxis: {
       type: 'category',
       data: ['MMLU', 'GPQA', 'HumanEval', 'GSM-8K', 'MATH']
   },
   series: [
       {
           name: 'Meta Llama 3 8B',
           type: 'bar',
           data: [68.4, 34.2, 62.2, 79.6, 30.0]
       },
       {
           name: 'Gemma 7B - It Measured',
           type: 'bar',
           data: [53.3, 21.4, 30.5, 30.6, 12.2]
       },
       {
           name: 'Mistral 7B Instruct Measured',
           type: 'bar',
           data: [58.4, 26.3, 36.6, 39.9, 11.0]
       },
       {
           name: 'Meta Llama 3 70B',
           type: 'bar',
           data: [82.0, 39.5, 81.7, 93.0, 50.4]
       },
       {
           name: 'Gemini Pro 1.5 Published',
           type: 'bar',
           data: [81.9, 41.5, 71.9, 91.7, 58.5]
       },
       {
           name: 'Claude 3 Sonnet Published',
           type: 'bar',
           data: [79.0, 38.5, 73.0, 92.3, 40.5]
       }
   ]

};

Meta Llama Guard 2

Meta Llama Guard 2는 Meta Llama의 최신 안전 보호 모델로, API 기반의 기존 안전장치를 강화하기 위해 설계되었다. 이 모델은 다양한 개발자 사용 사례에 적합하며, 다양한 일반적인 위험하거나 위반될 수 있는 콘텐츠 유형을 식별하는 데 능숙하다. 특히, 이 도구를 유연한 시작점으로 간주하는 것이 중요하며, 모든 상황에 대한 보편적인 해결책으로 보기보다는 특정 사용 사례에 맞게 조정이 필요하다.

업데이트된 기능들

1. 새로운 분류 체계 지원: Meta Llama Guard 2는 MLCommons에 의해 발표된 새로운 분류 체계를 지원하도록 최적화되어 있으며, 이는 보다 포괄적인 안전 카테고리 세트를 기본적으로 커버할 수 있다.
2. 개선된 분류 성능: 이전 버전에 비해 분류 성능이 향상되었으며, 맞춤 정책에 대한 제로샷 및 소수샷 적응성이 개선되었다.

사용 방법

• Meta Llama Guard 2를 다른 안전 장치와 함께 사용하여 관련된 안전 영역을 포괄적으로 다룰 것을 권장한다.
• 모든 입력과 LLM으로부터의 출력을 철저히 검사하고 필터링하는 것이 좋습니다, 이는 사용자의 독특한 콘텐츠 지침과 의도된 사용 사례에 따라 다르다.

모델 카드 읽기 - 자세한 모델 성능과 기능에 대한 정보를 제공한다.

Meta Llama Guard 2는 개발자들이 각자의 API를 통해 콘텐츠 위험을 관리할 수 있도록 지원하여, 보다 안전한 애플리케이션 환경을 조성할 수 있도록 돕는다.