귀하는 로그인되어 있지 않습니다. 이대로 편집하면 귀하의 IP 주소가 편집 기록에 남게 됩니다.스팸 방지 검사입니다. 이것을 입력하지 마세요!==== 성능 ==== 모델 논문이 공개된 시점인 2023년 7월 18일 기준으로 타 모델과의 성능을 비교한 그래프이다. {{#echarts: option = { tooltip: { trigger: 'axis', axisPointer: { type: 'shadow' } }, legend: { data: ['TruthfulQA', 'ToxiGen'] }, grid: { left: '3%', right: '4%', bottom: '3%', containLabel: true }, xAxis: [ { type: 'value' } ], yAxis: [ { type: 'category', data: ['MPT 7B', 'MPT 30B', 'Falcon 7B', 'Falcon 40B', 'LLAMA 1 7B', 'LLAMA 1 13B', 'LLAMA 1 33B', 'LLAMA 1 65B', 'LLAMA 2 7B', 'LLAMA 2 13B', 'LLAMA 2 34B', 'LLAMA 2 70B'] } ], series: [ { name: 'TruthfulQA', type: 'bar', data: [29.13, 35.25, 25.95, 40.39, 27.42, 41.74, 44.19, 48.71, 33.29, 41.86, 43.45, 50.18] }, { name: 'ToxiGen', type: 'bar', data: [22.32, 22.61, 14.53, 23.44, 23.00, 23.08, 22.57, 21.77, 21.25, 26.10, 21.19, 24.60] } ] }; }} <hr> 라마 공식 사이트에 공개되어 있는 타 모델과의 비교 그래프는 다음과 같다: {{#echarts: option = { tooltip: { trigger: 'axis', axisPointer: { type: 'shadow' } }, legend: { data: [ 'MMLU', 'TriviaQA', 'Natural Questions', 'GSM8K', 'HumanEval', 'AGIEval', 'BoolQ', 'HellaSwag', 'OpenBookQA', 'QuAC', 'Winogrande' ], orient: 'vertical', left: 'left' }, grid: { left: '20%', // 범례를 왼쪽에 배치하기 위해 그리드의 왼쪽 여백을 조정합니다. right: '4%', bottom: '3%', containLabel: true }, xAxis: { type: 'value', boundaryGap: [0, 0.01] }, yAxis: { type: 'category', data: [ 'MPT (7B)', 'Falcon (7B)', 'Llama-2 (7B)', 'Llama-2 (13B)', 'MPT (30B)', 'Falcon (40B)', 'Llama-1 (65B)', 'Llama-2 (70B)' ] }, series: [ { name: 'MMLU', type: 'bar', data: [26.8, 26.2, 45.3, 54.8, 46.9, 55.4, 63.4, 68.9] }, { name: 'TriviaQA', type: 'bar', data: [59.6, 56.8, 68.9, 77.2, 71.3, 78.6, 84.5, 85.0] }, { name: 'Natural Questions', type: 'bar', data: [17.8, 18.1, 22.7, 28.0, 23.0, 29.5, 31.0, 33.0] }, { name: 'GSM8K', type: 'bar', data: [6.8, 6.8, 14.6, 28.7, 15.2, 19.6, 50.9, 56.8] }, { name: 'HumanEval', type: 'bar', data: [18.3, 'N/A', 12.8, 18.3, 25.0, 'N/A', 23.7, 29.9] // 'N/A'는 데이터가 없음을 의미합니다. }, { name: 'AGIEval', type: 'bar', data: [23.5, 21.2, 29.3, 39.1, 33.8, 37.0, 47.6, 54.2] }, { name: 'BoolQ', type: 'bar', data: [75.0, 67.5, 77.4, 81.7, 79.0, 83.1, 85.3, 85.0] }, { name: 'HellaSwag', type: 'bar', data: [76.4, 74.1, 77.2, 80.7, 79.9, 83.6, 84.2, 85.3] }, { name: 'OpenBookQA', type: 'bar', data: [51.4, 51.6, 58.6, 57.0, 52.0, 56.6, 60.2, 60.2] }, { name: 'QuAC', type: 'bar', data: [37.7, 18.8, 39.7, 44.8, 41.1, 43.3, 39.8, 49.3] }, { name: 'Winogrande', type: 'bar', data: [68.3, 66.3, 69.2, 72.8, 71.0, 76.9, 77.0, 80.2] } ] }; }} 편집 요약 가온 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는 가온 위키:저작권 문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요. 또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다. 저작권이 있는 내용을 허가 없이 저장하지 마세요! 취소 편집 도움말 (새 창에서 열림)