
[개발보드] Radxa ROCK 5B RK3588 개발보드 구매 및 개봉기 (NPU 탑재/램 32GB 모델)
2024. 6. 25. 21:49
★2. 삼런이의 [리뷰]모음
서론 요즘엔 A.I.(Artificial Intelligence)가 대세입니다. 작년에 OpenAI의 ChatGPT 서비스가 개시한지 일주일 채 되지 않은 시점에, ChatGPT를 처음 써보고 큰 충격을 받았습니다. 간단한 보고서를 만들어달라고 하거나 한가지 기능을 하는 샘플 코드를 짜달라고 하면 막힘없이 생성해줬거든요. 이러한 언어모델을 기반으로 한 A.I.가 세상을 평정할 것이라 생각함과 동시에 엄청 무서워졌습니다. A.I.의 기술 발전이 진행되면 될 수록 나의 밥그릇을 뺏기는 일이 많아지거나 가능성이 높아지거든요. 제가 8년 넘게 펌웨어 개발자로 일을 하고 있지만, 이 일도 A.I.한테 빼앗길 수도 있으므로 항상 긴장해야겠단 생각이 들었습니다. 그러다가 회사에서 "음성 인식"과 관련된 프로젝..

[AI] Meta Llama 3 설치 및 Open WebUI 실행까지 (Windows)
2024. 4. 28. 10:29
★3. 삼런이의 [테크니컬]
서론 약 1주일 전, Meta에서 새로운 오픈소스 LLM 모델인 Llama 3을 공개 및 출시 했습니다. Llama 3의 8B와 70B가 공개된 상태이며, 최대 400B급 모델을 학습하고 있다고 합니다. 여기서 우리는 대부분의 PC에서 원활하게 사용해 볼 수 있는 Llama 3 8B 모델의 실행을 진행해보고자 합니다. 본 강좌는 아래의 순서대로 진행됩니다.Ollama 설치1-1. 언어 모델 다운로드 위치 변경Llama 3:8b 설치 및 구동Open WebUI 설치 및 연동3-1. Docker Desktop 설치 (재부팅 필수)3-2. Docker 이미지 설치 및 실행3-3. Open WebUI 실행 및 설정 Llama 3를 구동하는 제 PC의 사양은 아래와 같습니다.CPU : 인텔 i7-1370..