■ChatGPT 훈련 과정
1. Generative pretraing
생성적 사전 훈련
설계한 언어 모델에 데이터 세트를 입력하여 1차적인 확률 모델 형성
2.Supervised find-tuning
지도식 미세 조정
유저 질문에 대한 언어 모델의 답변을 인간 트레이너가 직접 미세 조정하여 새로운 데이터 세트를 형성
3. Reinforcement learning from human feedback
인간 피드백에 의한 강화 학습
■ ChatGPT 능력과 한계
<능력>
언어를 인간처럼 이해하기보다는 언어의 패턴과 관계성을 학습해
토큰의 배열 다음으로 나타나면 적합할 가능성이 높은 토큰을 제시하는 통계 알고리즘
질문에 대해서 부정확하더라도 신속성 있는 답변이 필요할 때 유용
<한계>
2021년까지 데이터 세트로만 훈련돼 최신 정보는 답변하지 못한다.
데이터 세트가 부정확하거나 편향되어 있다면 답변 역시 부정확하거나 편향
훈련 과정에서 사용되는 대규모 데이터들의 정확성을 모두 확인할 수는 없다.
검색 엔진과 달리 답변의 출처를 알 수 없고 한 가지 답변만 제공된다.
비용이 크다.
데이터 세트 수집 및 라벨링 비용, 대규모 컴퓨터 리소스 비용, R&D, 인건비 등
수천만 달러 비용이 소모된다.
운영 비용은 월 300만 달러, 연간 3,600만 달러로 추정된다.
■ ChatGPT 시사점 4가지
1. 언어 모델을 가장 상업적으로 잘 활용할 수 있는 방법은 여전히 '디지털 광고'
Microsoft 역시 OpenAI 기술을 디지털 광고 플랫폼인
검색 엔진 Bling에 가장 먼저 적용하려고 하고 있다.
디지털 광고 플랫폼의 트래픽을 늘리고, 타켓팅 성능을 향상시키면 매출이 증가할 수 있을 것
파워포인트, 워드,엑셀에 언어 모델 기술이 추가되는 것은 매출 증가보다
비용 증가 요인이 더 클 가능성이 있다.
2. 매개변수 천억 개가 넘는 대규모 언어 모델을 활용한 사업으로 수익성을 낼 수 있는 기업은
이미 대규모 시장을 확보한 Big Tech로 제한될 가능성이 높다.
매개변수가 작다면 대중이 놀랄만한 기능은 선보일 수 없다.
매개변수가 크다면 비용 역시 비례해 크다.
3. 딥러닝 기반 언어 모델들이 대중화된다면 단기적으로 가장 큰 수혜는
슈퍼 컴퓨터 클러스터를 만드는 데 필요한 제품 및 서비스를 판매하는 기업들
단기적으로 클라우드, 데이터센터, 광통신 산업 성장 수혜 전망
4. 장기적으로 딥러닝 기반 언어 모델의 한계는
퀀텀컴퓨팅 산업 발전, 인간과 유사한 방식으로 학습하는 추론형 AI 기술 등장으로 극복될 것
현 AI 기술이 지나치게 많은 에너지와 컴퓨터 리소스 비용을 소모한다는 우려 존재
인간의 효율적 학습 방법과 유사한 '추론형 AI'기술에 지속적으로 관심을 가질 필요가 있다.
■ 언어 모델 관련 미국 기업
|
종목명
|
비고
|
|
마이크로소프트
(MSFT) |
Open AI 지분 49% 보유. 언어 모델을 통한 제품 포트폴리오 성능 향상 가능성
|
|
알파벳
(GOOGL) |
인공지능 1위 기업이자 언어 모델 사업화 선구자
|
|
아마존 닷컴
(AMZN) |
시장 1위 클라우드 사업자. 언어 모델을 활용해 Amazon.com을 혁신할 가능성 있음
|
|
엔비디아
(NVDA) |
GPU 시장 과점 업체. 데이터센터 시장 확장의 수혜
|
|
시스코 시스템즈
(CSCO) |
통신장비 1위 업체이자 다양한 클라우드 산업 제품 포트폴리오 보유
|
|
아리스타 네트웍스
(ANET) |
데이터센터 향 통신장비 시장에서 가장 빠르게 성장 중인 기업
|
|
암페놀
(APH) |
다양한 광통신 제품 포트폴리오 보유
|
|
인터내셔날 비즈니스 머신
(IBM) |
퀀텀 컴퓨팅 Top Tier 업체이자 다양한 클라우드 산업 제품 포트폴리오 보유
|
|
IonQ InC
(IONQ) |
퀀텀 컴퓨팅 Second-Tier 기업
|
▶마이크로소프트 (MSFT)
▶알파벳 (GOOGL)
▶ 아마존 닷컴 (AMZN)
▶ 엔비디아 (NVDA)
▶시스코 시스템즈(CSCO)
▶아리스타 네트웍스(ANET)
▶암페놀(APH)
▶ 인터내셔날 비즈니스 머신 (IBM)
▶ IonQ InC (IONQ)
'해외 기업' 카테고리의 다른 글
| Applied Materilas(AMAT)-FY 1Q23 Review (0) | 2023.02.20 |
|---|---|
| 스타벅스 (SBUX US) -FY 1Q23 Review (0) | 2023.02.07 |
| Qualcomm(퀄컴/ QCOM NASDAQ)-FY 1Q23 Review (0) | 2023.02.03 |
| LVMH (MC FP)-2H22 Review (1) | 2023.01.31 |
| 미국 리츠 정리 3-개별 기업( 사이먼 프로퍼티 / VICI 프라퍼티 / 벤타스) (0) | 2023.01.30 |
댓글