Proprietary Know-how

담당자: 염시형, 박건, 윤태웅
주제: 추론효율화

개요
본 기술은 대규모 언어모델의 self-consistency 추론 과정에서 발생하는 과도한 토큰 비용을 줄이기 위한 추론 최적화 기술이다. 기존 self-consistency 방식은 문제 난이도와 관계없이 동일한 수의 reasoning chain을 생성하기 때문에, 쉬운 문제에서도 불필요한 연산 자원이 소모될 수 있다. 이러한 문제를 근본적으로 해결할 수 있는 기술로 입력 문제의 output entropy를 기반으로 난이도를 연속적으로 추정하고, 이에 따라 필요한 reasoning chain 수를 유연하게 조절함으로써 정확도와 추론 효율성을 함께 향상시키는 flexible self-consistency 방법이다.

핵심 기술

• Self-Consistency 기반 LLM 추론 비용 분석
  
• Output entropy 기반 문제 난이도 추정
  
• 난이도 적응형 reasoning chain 수 조절
  
• Token efficiency 중심의 추론 최적화

연구 실적
학회: 심사중
특허: 심의중