카카오

[카카오] LLM Research Engineer (Pre-training) (신입/경력)

지원 조건

지원 조건을 아직 확인하지 못했어요

업무 경험

로그인하면 내 경험과 맞춰볼 수 있어요

희망 조건

희망 고용형태를 아직 정하지 않았어요

공고 고용형태 · 확인 필요

어떤 기회인가요?

추론 및 학습에 효율적인 LLM 구조 탐색 및 최적화 (e.g. Mixture of Experts, Gated Delta Net, Kimi Linear)
비용 효율화를 위한 학습 최적화 및 데이터 최적화 (e.g., Fp-8 training, Dataset mixture search)
비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (e.g., Pruning & Distillation, Hyperparameter transfer, Scaling law, Optimizer)

공고 원문 전체 보기

추론 및 학습에 효율적인 LLM 구조 탐색 및 최적화 (e.g. Mixture of Experts, Gated Delta Net, Kimi Linear)
비용 효율화를 위한 학습 최적화 및 데이터 최적화 (e.g., Fp-8 training, Dataset mixture search)
비용 효율적인 언어 모델 학습을 위한 알고리즘 연구 및 응용 (e.g., Pruning & Distillation, Hyperparameter transfer, Scaling law, Optimizer)
LLM 학습을 위한 대규모 데이터 수집, 생성 및 메타 정보 부착기술 개발 및 연구 (e.g. Synthetic dataset generation)

Low-precision training 관련 연구/개발 경험 (e.g., FP8/MXFP4 학습 시 수치 안정성 확보, loss scaling, tensor-wise/block-wise scaling 전략 설계)
Quantization-Aware Training(QAT) 및 저비트 양자화(W4A8, W4A16 등) 환경에서의 LLM 학습 경험 (e.g., STE 기반 학습, rotation/smoothing 기법 적용, PTQ 대비 품질 회복)
Knowledge Distillation을 활용한 모델 압축 연구 경험 (e.g., logit/feature-level distillation, on-policy distillation, teacher-student 학습 파이프라인 설계)
LLM 관련 kernel 개발 경험 (e.g., Triton, CUDA 기반 custom kernel)
Data/Model/Pipeline/Context/Expert Parallel 등 분산 학습 전략 설계 및 프레임워크(e.g., Megatron-LM, DeepSpeed, FSDP) 기여 경험
LLM 학습 데이터의 품질 향상과 평가를 위한 연구 개발 경험 및 페타바이트 수준의 텍스트 데이터 수집 및 분산 처리 경험
대규모 클러스터 환경(e.g., GPU / TPU)에서 초거대 모델 학습을 위한 최적화 경험 (e.g., communication overlap, activation recomputation, memory-efficient optimizer)

학력 조건을 충족하는 졸업 학위가 프로필에서 아직 확인되지 않아요. 로그인 후 내 기록으로 지원 조건을 확인해 주세요. 지금은 공고에 적힌 모집 조건만 볼 수 있어요.

이 조건은 연습 과제로 대신할 수 없어요. 지원 전에 원문에서 한 번 더 확인해 주세요.