블로그
-
GPU (Full-Sharded Data Parallel)
DDP와 다르게 GPT-3같은 엄청나게 많은 데이터의 경우 FSDP (Fully sharded data parallel)을 사용하게 됩니다. 아래는 GPT-2 GPU 메모리 필용량 FSDP의 경우 아래와 같이 작용합.......
blog.naver.com · 2026.05.17
-
[역추적 설계] AI의 가중치를 역이용
우리가 해야 할 일은 AI의 손가락이 가점 버튼 위에서 춤을 추게 만드는 **'고가치 데이터(High-Value Data)'**를 전략적으로 배치하는 것입니다. 1. 하이-엔티티(High-Entity) 배치법 : 문장 도입부 50토큰의 법칙 AI 모델, 특히 GPT 계열은 문장의 앞부분에 나타나는 정보에 더 높은 주의력(Attention)을 할당합니다
blog.naver.com · 2026.03.03
-
DS TIMES 2025 9월호
DS TIMES 최신 GPT 교육과 데이타솔루션의 AI Factory를 알아보세요! 안녕하세요, 여러분! 어느새 가을이 성큼 다가왔습니다. AI & Data Summit [9/3] AI&Data Summit 에 참가했습니다.
blog.naver.com · 2025.09.30
-
The era of superagent GPT-5 has begun! AI that thinks, creates, and solves.
as a content expert and evaluation committee member in areas such as artificial intelligence, big data GPT-5 Launch Live, Source: Open AI https://youtu.be/0Uu_VJeVVfo see more The era of superagent GPT-5
blog.naver.com · 2025.08.08
-
[Microsoft AI Tour 2025 Seoul] Azure AI Foundry - 최신 신규 gpt 모델, gpt-4.5-preview, realtime,
InJun Kim, held in Ms AI Tour 2025 Seoul Takuto Higuchi / Microsoft InJun Kim / Microsoft Singapore GPT latest model VoiceRAG engage search engine based on ms data realtime Reasoning model resoning model
blog.naver.com · 2025.03.26
-
Transfer Learning & Domain Adaptation
Advantage: Enables high performance model with a smaller data set. Process: Pre-training(source data set) + Fine-tuning(target data set) Application LLM development(Transformer
blog.naver.com · 2025.01.07
-
[ML] Phi-4 Technical Report (PR-288)
Microsoft는 STEM 중심 QA에서 GPT-4o보다 뛰어난 성능을 발휘하는 14B LLM인 Phi-4를 발표했습니다. multi-agent, 자체 수정 워크플로로 생성된 대규모의 및 instruction reversal 사용 ⚡ 더 나은 데이터 및 학습 방법(RS + DPO)을 통해 개선됨 ✨ GPQA 및 수학에서 교사(GPT-4o) 능가 12개 벤치마크
blog.naver.com · 2024.12.14
-
[ML] Phi-4 Technical Report (PR-288)
Microsoft는 STEM 중심 QA에서 GPT-4o보다 뛰어난 성능을 발휘하는 14B LLM인 Phi-4를 발표했습니다. multi-agent, 자체 수정 워크플로로 생성된 대규모의 및 instruction reversal 사용 ⚡ 더 나은 데이터 및 학습 방법(RS + DPO)을 통해 개선됨 ✨ GPQA 및 수학에서 교사(GPT-4o) 능가 12개 벤치마크
blog.naver.com · 2024.12.14
-
gpt-3.5-turbo api 호출
"gpt-3.5-turbo", "messages" => array( array( "role" => "user", "content" => $prompt ) ), "max_tokens " => 3000, "temperature" => 0.5, ); $data_string = json_encode($data); $ch = curl_init(); curl_setopt
blog.naver.com · 2023.03.08