블로그
- GPU (Full-Sharded Data Parallel) 여기서 가장 많이 사용되는 것이 Data Parallel인거 같습니다. 아래는 DDP의 원리를 설명한 것인데 데이터를 나누어서 처리를 합니다. DDP와 다르게 GPT-3같은 엄청나게 많은 데이터의 경우 FSDP (Fully sharded data parallel)을 사용하게 됩니다.
- [Windows] CPU 사용률 원인 분석 스케쥴 확인 - [win] + R 누른 후 taskschd.msc 실행 - 좌측에서 Task Scheduler Library 선택 - 실행 시간과 CPU 사용량이 높은 시간대가 일치하는 성능 모니터 활용 - [win] + R 누른 후 perfmon 입력 후 실행 - 좌측에서 Data Collector Sets > System 선택 - 성능 데이터 수집 5.
- R프로그래밍: Alpha diversities (microbiome) # data analysis and visualisation library(phyloseq) # also the basis of data object. Data analysis and visualisation library(microbiomeutilities) # some utility tools library(RColorBrewer
- 1.28.3 업데이트 내용 1.28.3 업데이트 내용 - 금연자료 정리 - 라이브러리 업데이트 - 안정화 및 버그 수정 1.28.3 Update Contents- Organize smoking cessation data - Library update- Stabilization and bug fixes
- 빅데이터 분석기사 실기_작업형 2 flow 1) Data & Library Import 2) EDA (head,info,describe,결측치) 3) 불필요 컬럼 삭제 (id등) 4) 문자형 컬럼 삭제 or 변환 (1 metrics - accuracy_score,precision_score,recall_score,f1_score,roc_auc_score) 및 모델 선정 (최고 점수) 9) test data
- 섹터 관련 정보 https://www.singstat.gov.sg/find-data/search-by-theme/industry/services/visualising-data/business-cost-structure-dashboard finviz.com/map.ashx https://www.sectorspdr.com/sectorspdr/tools/sector-tracker https://www.ssga.com/library-content
- curl 설치 및 사용법 개요 curl 은 command line 용 data transfer tool 이다. download/upload 모두 가능하며 HTTP/HTTPS/FTP/LDAP/SCP/TELNET 또 libcurl 이라는 C 기반의 library 가 제공되므로 C/C++ 프로그램 개발시 위의 protocol 과 연계가 필요하다면 libcurl 을 사용하여 손쉽게 연계할 수 있다
- [메모] 머신러닝 책들 O Machine Learning 설명을 Python Library 이용하며 한 책 (1) Pandas 만든 Wes Mckinney 가 쓴 Python for Data Analysis
- http.client 응답 데이터를 읽음 data = response.read() 5. 연결을 닫음 conn.close() https://docs.python.org/3/library/http.client.html
- [공유] 공부합니다file:///var/mobile/Containers/Data/Application/B7D46ACE-B0F5-4FB3-A627-2DFD41E0FCB0/Library/Caches
1 페이지
다음 →