Llama 편집하기 (부분)

=== Llama 2 ===
논문 기준 {{날짜/출력|2023-07-18}}에 공개된 라마 2번째 모델.

[[Llama]] 모델의 각 모델별 모델의 크기별 훈련 손실 감소 그래프

[https://arxiv.org/abs/2307.09288 Llama 2: Open Foundation and Fine-Tuned Chat Models] 논문 인용

==== Llama와의 차이 ====
* 훈련 데이터의 양을 40% 증가
* 모델의 컨텍스트 길이를 두 배로 늘림
* 추론 시 계산 효율을 높이기 위해 Grouped-Query Attention 기법을 새롭게 도입
* 가장 큰 모델이 65B에서 70B로 늘어남

{| class="wikitable" style="text-align: center;"
|+ 
! Model<br>모델 !! Training Data<br>학습 데이터 !! Params<br>파라미터 !! Context Length<br>컨텍스트 길이 !! GQA !! Tokens<br>토큰 수 !! LR
|-
! rowspan="4" | LLAMA 1
| rowspan="4" | See Towvron et al. (2023) || 7B || 2k || ✗ || 1.0T || <math>3.0 \times 10^{-4}</math>
|-
| 13B || 2k || ✗ || 1.0T || <math>3.0 \times 10^{-4}</math>
|-
| 33B || 2k || ✗ || 1.4T || <math>1.5 \times 10^{-4}</math>
|-
| 65B || 2k || ✗ || 1.4T || <math>1.5 \times 10^{-4}</math>
|-
! rowspan="4" | LLAMA 2
| rowspan="4" | A new mix of publicly available online data || 7B || 4k || ✗ || 2.0T || <math>3.0 \times 10^{-4}</math>
|-
| 13B || 4k || ✗ || 2.0T || <math>3.0 \times 10^{-4}</math>
|-
| 34B || 4k || ✓ || 2.0T || <math>1.5 \times 10^{-4}</math>
|-
| 70B || 4k || ✓ || 2.0T || <math>1.5 \times 10^{-4}</math>
|}

==== 파이퍼 파리미터 값 ====
Pretraing 토큰은 2조개, 컨텍스트 길이는 4096이다.

각 모델별 모델의 크기별 훈련 손실 감소 그래프는 다음과 같다.

[[파일:llama2_loss_tokens_pigure.png]]

==== 학습한 언어 비율 ====
언어 별 학습한 비율은 다음과 같다.
{| class="wikitable"
! 언어 !! 비율
|-
| '''en'''<br>영어 || 89.70%
|-
| '''unknown'''<br>모름 + 프로그래밍 코드 || 8.39%
|-
| '''de'''<br>독일어 || 0.17%
|-
| '''fr'''<br>프랑스어 || 0.16%
|-
| '''sv'''<br>스웨덴어 || 0.15%
|-
| '''zh'''<br>중국어 간체 || 0.13%
|-
| '''es'''<br>스페인어 || 0.13%
|-
| '''ru'''<br>러시아어 || 0.13%
|-
| '''nl'''<br>네덜란드어 || 0.12%
|-
| '''it'''<br>이탈리아어 || 0.11%
|-
| '''ja'''<br>일본어 || 0.10%
|-
| '''pl'''<br>폴란드어 || 0.09%
|-
| '''pt'''<br>포르투갈어 || 0.09%
|-
| '''vi'''<br>베트남어 || 0.08%
|-
| '''uk'''<br>우크라이나어 || 0.07%
|-
! style="text-align: left;" | '''ko'''<br>한국어 || 0.06%
|-
| '''ca'''<br>카탈루냐어 || 0.04%
|-
| '''sr'''<br>세르비아어 || 0.04%
|-
| '''id'''<br>인도네시아어 || 0.03%
|-
| '''cs'''<br>체코어 || 0.03%
|-
| '''fi'''<br>핀란드어 || 0.03%
|-
| '''hu'''<br>헝가리어 || 0.03%
|-
| '''no'''<br>노르웨이어 || 0.03%
|-
| '''ro'''<br>루마니아어 || 0.03%
|-
| '''bg'''<br>불가리아어 || 0.02%
|-
| '''da'''<br>덴마크어 || 0.02%
|-
| '''sl'''<br>슬로베니아어 || 0.01%
|-
| '''hr'''<br>크로아티아어 || 0.01%
|}

한국어는 0.06%로 영어에 비해 매우 적은 데이터만 학습되어 있다. 즉, 영어 사용 사례에서 Llama 2의 성능이 가장 뛰어나다.

==== 성능 ====
모델 논문이 공개된 시점인 2023년 7월 18일 기준으로 타 모델과의 성능을 비교한 그래프이다.
{{#echarts:
option = {
    tooltip: {
        trigger: 'axis',
        axisPointer: {
            type: 'shadow'
        }
    },
    legend: {
        data: ['TruthfulQA', 'ToxiGen']
    },
    grid: {
        left: '3%',
        right: '4%',
        bottom: '3%',
        containLabel: true
    },
    xAxis: [
        {
            type: 'value'
        }
    ],
    yAxis: [
        {
            type: 'category',
            data: ['MPT 7B', 'MPT 30B', 'Falcon 7B', 'Falcon 40B', 'LLAMA 1 7B', 'LLAMA 1 13B', 'LLAMA 1 33B', 'LLAMA 1 65B', 'LLAMA 2 7B', 'LLAMA 2 13B', 'LLAMA 2 34B', 'LLAMA 2 70B']
        }
    ],
    series: [
        {
            name: 'TruthfulQA',
            type: 'bar',
            data: [29.13, 35.25, 25.95, 40.39, 27.42, 41.74, 44.19, 48.71, 33.29, 41.86, 43.45, 50.18]
        },
        {
            name: 'ToxiGen',
            type: 'bar',
            data: [22.32, 22.61, 14.53, 23.44, 23.00, 23.08, 22.57, 21.77, 21.25, 26.10, 21.19, 24.60]
        }
    ]
};
}}

<hr>

라마 공식 사이트에 공개되어 있는 타 모델과의 비교 그래프는 다음과 같다:


{{#echarts:
option = {
    tooltip: {
        trigger: 'axis',
        axisPointer: {
            type: 'shadow'
        }
    },
    legend: {
        data: [
            'MMLU', 'TriviaQA', 'Natural Questions', 'GSM8K', 'HumanEval', 'AGIEval',
            'BoolQ', 'HellaSwag', 'OpenBookQA', 'QuAC', 'Winogrande'
        ],
        orient: 'vertical',
        left: 'left'
    },
    grid: {
        left: '20%', // 범례를 왼쪽에 배치하기 위해 그리드의 왼쪽 여백을 조정합니다.
        right: '4%',
        bottom: '3%',
        containLabel: true
    },
    xAxis: {
        type: 'value',
        boundaryGap: [0, 0.01]
    },
    yAxis: {
        type: 'category',
        data: [
            'MPT (7B)', 'Falcon (7B)', 'Llama-2 (7B)', 'Llama-2 (13B)', 
            'MPT (30B)', 'Falcon (40B)', 'Llama-1 (65B)', 'Llama-2 (70B)'
        ]
    },
    series: [
        {
            name: 'MMLU',
            type: 'bar',
            data: [26.8, 26.2, 45.3, 54.8, 46.9, 55.4, 63.4, 68.9]
        },
        {
            name: 'TriviaQA',
            type: 'bar',
            data: [59.6, 56.8, 68.9, 77.2, 71.3, 78.6, 84.5, 85.0]
        },
        {
            name: 'Natural Questions',
            type: 'bar',
            data: [17.8, 18.1, 22.7, 28.0, 23.0, 29.5, 31.0, 33.0]
        },
        {
            name: 'GSM8K',
            type: 'bar',
            data: [6.8, 6.8, 14.6, 28.7, 15.2, 19.6, 50.9, 56.8]
        },
        {
            name: 'HumanEval',
            type: 'bar',
            data: [18.3, 'N/A', 12.8, 18.3, 25.0, 'N/A', 23.7, 29.9] // 'N/A'는 데이터가 없음을 의미합니다.
        },
        {
            name: 'AGIEval',
            type: 'bar',
            data: [23.5, 21.2, 29.3, 39.1, 33.8, 37.0, 47.6, 54.2]
        },
        {
            name: 'BoolQ',
            type: 'bar',
            data: [75.0, 67.5, 77.4, 81.7, 79.0, 83.1, 85.3, 85.0]
        },
        {
    name: 'HellaSwag',
    type: 'bar',
    data: [76.4, 74.1, 77.2, 80.7, 79.9, 83.6, 84.2, 85.3]
},
{
    name: 'OpenBookQA',
    type: 'bar',
    data: [51.4, 51.6, 58.6, 57.0, 52.0, 56.6, 60.2, 60.2]
},
{
    name: 'QuAC',
    type: 'bar',
    data: [37.7, 18.8, 39.7, 44.8, 41.1, 43.3, 39.8, 49.3]
},
{
    name: 'Winogrande',
    type: 'bar',
    data: [68.3, 66.3, 69.2, 72.8, 71.0, 76.9, 77.0, 80.2]
}
    ]
};
}}

==== 안전성 ====
사용자가 입력한 값이 해롭거나 안전하지 않은 것들<ref>예: 어떻게 하면 사람을 죽일 때 고통 없이 한번에 죽일 수 있어?</ref>을 타 모델들(GPT-3.5 등)에 비해 잘 거른다고 한다.