본문 바로가기

머신러닝11

유니티 머신러닝 개발 ML Agents 13편, 목표 찾기 예제 개선. 7 여러 타깃 사용해보기, 관리자 만들기 유니티 머신러닝 개발 ML Agents 13편, 목표 찾기 예제 개선. 7 여러 타깃 사용해보기, 관리자 만들기 직전 수정은 사실 프로그램의 결과값, 즉 눈으로 보는 프로그램의 변화는 거의 없습니다. 로직 변화가 있지만요, 엄밀히 말하면 정말 같은 것은 아니지만, 그냥 보시기에는 거의 차이가 없는 수정이죠 출동 검증 방식이 바뀐 것이었으니까요. 이번에는 타겟을 추가할 수 있도록 수정하려 합니다. 타깃을 관리하는 관리 소스를 만들 예정입니다. 다음 이름의 cs 파일을 추가합니다. gTargetManager.cs using System.Collections; using System.Collections.Generic; using UnityEngine; public class gTargetManager : M.. 2021. 4. 14.
유니티 머신러닝 개발 ML Agents 12편, 목표 찾기 예제 개선. 6 타겟 출동검증방슥을 교체, 거리비교에서 트리거 사용하기 유니티 머신러닝 개발 ML Agents 12편, 목표 찾기 예제 개선. 6 타겟 출동검증방슥을 교체, 거리비교에서 트리거 사용하기 저번 작업에서는 관측시스템을 바꾸었죠. 수치로 포지션과 이동량등을 제공하다, mlagent가 제공하는 타겟 센서로 교체하였고, 교육이후 보여주는 퍼포먼스가 이전 수치로만 교육시키던 상황보다 눈으로 봐도 상당히 좋아진것을 볼수 있었습니다. gRollerAgent.cs의 public override void OnActionReceived(ActionBuffers actionBuffers) 함수를 보면 public override void OnActionReceived(ActionBuffers actionBuffers) { // Rewards float distanceToTarge.. 2021. 4. 12.
유니티 머신러닝 개발 ML Agents 11편, 목표 찾기 예제 개선. 5 관측정보 바꾸기, Ray Perception Sensor 3D를 이용한 개선 유니티 머신러닝 개발 ML Agents 11편, 목표 찾기 예제 개선. 5 관측정보 바꾸기, Ray Perception Sensor 3D를 이용한 개선 저번 예제에는 훈련장을 줄이고, 벽을 설치해서 낙하하는 로직을 제거하고, 이동 방식은 인풋을 반영해서 움직이는 방식으로 변경하였습니다. 이번에는 뭘 해볼 것이냐. 이번에는 우리가 재공 하는 관측치를 바꿔봅시다. 현재 우리가 관측치를 재공하는 방법은 gRollerAgent.cs의 public override void CollectObservations(VectorSensor sensor) 해당 함수를 통해 샌서에 정보를 넣어줍니다. 함수를 볼까요 /// /// 강화학습 프로그램에게 관측정보를 전달 /// /// public override void Coll.. 2021. 4. 11.
유니티 머신러닝 개발 ML Agents 10편, 목표 찾기 예제 개선. 4 벽 설치, 이동 방식의 변경, 연속적인 값에서 이산적인 값으로 변경 유니티 머신러닝 개발 ML Agents 10편, 목표 찾기 예제 개선. 4 벽 설치, 이동 방식의 변경, 연속적인 값에서 이산적인 값으로 변경 지난 예제까지는 여러개의 훈련장을 사용하여 교육 속도를 올려보았습니다. 하지만, 교육장이 넓어져서 훈련에 많은 시간이 소요되었을 겁니다. 이번에는 이동방식을 개선해볼 생각입니다. 훈련장 조정 일단 위의 훈련장을 좀 줄이고 시작할게요 추가되었던 trainingArea를 지웁니다. floor을 하나만 남기고 Transform 다음과 같이 합니다. 에이전트와 타겟도 다음 정보를 참고해서 수정해주세요 gRollerAgent.cs 의 public override void OnEpisodeBegin() 함수도 수정해줍니다. public override void OnEpiso.. 2021. 4. 10.
유니티 머신러닝 개발 ML Agents 9편, 목표 찾기 예제 개선. 3 다수의 훈련장 사용해보기, 버퍼 사이즈 교체로 멈춤 현상 개선 유니티 머신러닝 개발 ML Agents 9편, 목표 찾기 예제 개선. 3 다수의 훈련장 사용해보기, 버퍼 사이즈 교체로 멈춤 현상 개선 이번 편에서는 현재까지 하나의 훈련장을 이용시켜서 훈련시켰는데, 동시에 다수에 훈련장을 사용시켜 같은 시간대비 훈령 양을 늘려서 더 빠르게 교육이 진행될 수 있게 하겠습니다. 이전에 해당 구멍난 맵으로 학습시켜보았고 한계가 있음을 어느 정도 보았습니다. 일단 가운데 floor를 활성화시켜 하나의 큰 평면 바닥을 만듭니다. 다수의 훈련장소 활용하기 TrainingArea 복사합니다. 유니티에서는 해당 오브젝트를 선택하고 Ctrl+D 활용하시면 복사가 됩니다. 9개 정도 해봅니다. 그리고 겹치지 않게 적당히 배치해 줍니다. TrainingArea x, z값을 변경시켜 펼쳐줍.. 2021. 4. 9.
유니티 머신러닝 개발 ML Agents 8편, 목표 찾기 예제 개선. 2 floor 확장, 복잡한 바닥형태 태스트와 학습의 한계점 유니티 머신러닝 개발 ML Agents 8편, 목표 찾기 예제 개선. 2 floor 확장, 복잡한 바닥 형태 테스트와 학습의 한계점 저번 글에서는, 이쁘게 꾸며보고, 에이전트가 타겟을 바라보며 갈 수 있게 구성하였습니다. 그래서 모델이 회전을하지 못하는 제한을 설정했고요 그로 인해 변경된 환경 때문에 세팅을 바꾸고 다시 교육을 시키는 내용을 진행했었죠. 이번에도 환경에 대한 변화를 줘 보도록 하겠습니다 이번에는 floor를 확장시켜 봅시다. floor의 Transform의 Scale를 2,1,2로 수정합니다. 위의 자료 참고하여서 이후 플레이해봅니다. 넓어진 플로어에서 활동하는 에이전트를 보실 수 있습니다. 하지만 타깃이 한정적으로 설치되기 때문에 에이전트가 활동하는 반경은, 기존 floor 사이즈로 제.. 2021. 4. 7.
유니티 머신러닝 개발 ML Agents 7편, 목표 찾기 예제 개선. 1 뷰잉변경, 회전제한과 스텝제한, 환경개선과 재교육 유니티 머신러닝 개발 ML Agents 7편, 목표 찾기 예제 개선. 1 뷰잉 변경, 회전 제한과 스텝 제한, 환경개선과 재교육 저번 시간까지 진행한 내용이 기본 mlAgent에서 제공하는 예제의 내용입니다. 요기서부터 진행되는 내용은 해당 예제를 가지고 추가로 이것저것을 해보는 행위일 듯하네요 일단 보이는 게 너무 없어 보이니 색도 좀 칠하고 모델도 넣어보고 합시다. 여러분이 mlAgentRelease15을 프로젝트에서 파일을 가져오셨으면 아래와 같은 폴더가 존재합니다. floor에는 block 머티리얼을 설정할게요 모델 적용시키기 sharedSharedAssets/Prefabs AgentCube_Blue.prefab 를 RollerAgnet의 자식으로 붙여줍니다. 그리고 자식이 된 AgentCube_.. 2021. 4. 7.
유니티 머신러닝 개발 ML Agents 6편, 목표찻기 예제 제작.2 학습프로그램 제작, 학습시키고, 학습데이터 확인해보기 유니티 머신러닝 개발 ML Agents 6편, 목표 찾기 예제 제작. 2 학습 프로그램 제작, 학습시키고, 학습 데이터 확인해보기 지난 편에서는 폭표찾기 예제를 진행하였고, 그중 유니티 프로젝트를 제작하였습니다. 추가로 Heuristic 모드로는 잘 동작하는 것까지 진행했어죠. 오늘은 아나콘다에서 파이썬으로 학습프그램을 돌리고, 만들어둔 유니티 프로젝트를 구동시켜 학습을 시켜보겠습니다. 그리고 학습된 파일을 가져와서 사용도 해보고요. 이전 배포 예제들을 돌렸을 때, 학습 프로그램들이 들어있는 위치를 기억하실 겁니다. ml-agents-release_15\config\ppo 요기종 Basic.yaml을 복사해서 사본을 만들고, 이름을 바꿉니다. rollerball_config.yaml 로 교체합니다. 해당.. 2021. 4. 6.
유니티 머신러닝 개발 ML Agents 3편, ml agents 파이선 패키지 설치하기 유니티 머신러닝 개발 ML Agents 3편, ml agents 파이선 패키지 설치하기 3편입니다. 이번에는 ml agent 파이선 패키지를 깔고 학습프로그램을 구동시켜보는 것까지 해볼게요 지난 편에서는 아나콘다를 설치하고, 환경 세팅을 했어죠. 이번에는 아나콘다에 ml agent를 깔아보도록 합시다. 1편에서 사용하고 있는 Ml Release8 기준입니다. 차후에 최신버전으로 갱신할 생각은 있습니다. 지난 시간에 설치한 Anaconda Prompt를 오픈합니다. 그럼 아래와 같으 오픈되겠죠 우리가 만든 가상환경 mltest 를 활성화시켜줍니다. 뭔 말인지 잘 모르겠다 싶으시면 이전 편인 아나콘다 설치과 환경 세팅을 보고 오시면 됩니다. 코드는 아래와 같고 conda activate mltest ml r.. 2021. 4. 4.
유니티 머신러닝 개발 ML Agents 2편 아나콘다 설치하기, 가상환경 세팅 유니티 머신러닝 개발 ML Agents 2편 아나콘다 설치하기, 가상환경 세팅 1편에 이어 2편입니다. 1편에서는 유니티에 ML Agents Release 8 프로젝트를 연동하고 벽돌 이동 예제를 이미 선행된 학습 데이터로 이동시키는 예제까지 구동히켰습니다. 다음으로 작업해야 할 내용은, 우리가 직접 학습을 시켜보는 것입니다. 그를 위해서는 학습시키는 프로그램을 구동시켜야 합니다. ML Agent 같은 경우는 파이썬을 기반으로 학습 프로그램을 구동시킬 수 있습니다. 이 학습프로그램을 구동시킬수 있는 환경을 쉽게 구성하기 위해서 아나콘다, 라는 프로그램을 활용하면 좋습니다. 위키를 참고해 설명하면 -패키지 관리, 배표 등을 단순케 할 목적으로 과학계산, 애플리케이션, 대규모 데이터 처리 등을 위한 파이썬과.. 2021. 4. 3.
유니티 머신러닝 개발 ML Agents 1편 유니티에 ML연동과 학습된 데이터로 예제 실행 유니티 머신러닝 개발 ML Agents 1편 유니티에 ML연동과 학습된 데이터로 예제 실행 개인적으로 인공지능 관련 자료를 찻아보다. 사진분석, 표분석등을 걸쳐, 유니니를 통한 강화학습에 대한 정보를 얻게 되었고, 흥미가 생겨서 해보기로 했다. 하루정도 다양한 자료, 블로그, 유툽등을 뒤져보며, 이것저것 해보았다. 그리고 느낀건 정상적이지 않은 자료가 너무 많다는 것, 너무 오래된 자료 -ML이 버전이 올라가면 소용 없고, 설치하는 방식이 달라져 버리거나 하여 무쓸모 된 자료들 완전 틀린자료 -그냥 헛소리 적어둔 것 알지도 못하면서 대충 적은자료 -그냥 조회수 빨아서 돈벌려고 대충 적어둔것 -아는척이 해보고 싶었거나 공개시켜둔 소스가 실제로는 구동안됨 -다양한 애러가 있다던지 불친절한 설명 -명령이 치면.. 2021. 4. 1.

티스토리툴바