Bunny Code

Matplotlib x축 선형 그대로 표현 방법만 바꾸기 (1e8 → $10^8$)

버즈밴드 — Sat, 25 Nov 2023 21:56:57 +0900

논문 Figure를 그리다 보면 그래프 안의 요소들을 바꾸어야 할 일들이 많다.

선의 색상, 두께, 글자 크기 등 많은 것들은 검색을 통해 쉽게 바꿀 수 있지만,

x축 표현 방법과 관련 숫자 크기를 바꾸는 내용은 쉽게 찾을 수 없어 직접 포스팅하고자 한다.

무슨 상황인지 설명을 먼저 해보자.

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(0, 10, 100) * 10**7
y = np.ones_like(x) * 5

plt.figure(figsize=(6, 6))
plt.plot(x, y, 'r-')
plt.show()

위와 같이 코드를 작성하면, 다음의 그래프를 그릴 수 있다.

문제는 x축의 $1e8$ 부분이다.

제출하고자 하는 journal 혹은 conference에 따라 $1e8$이 아니라 10의 거듭제곱 표현 방식인 $10^8$로 작성해야할 때가 있다.

이와 같은 문제를 검색하면 그래프의 x축을 선형 축이 아닌 로그 축으로 바꾸는 방법들이 주로 나와 답답했는데 간단한 해결방법을 찾았다.

아래 코드 한줄이면 해결 가능하다.

plt.gca().ticklabel_format(axis='x', useMathText=True)

$10^8$의 크기도 그래프의 다른 숫자들과 마찬가지로 fontsize를 통해 조절가능하다.

원하는 fontsize를 다음과 같이 입력하면 된다.

plt.gca().xaxis.get_offset_text().set_fontsize(20)

코드 두 줄을 추가한 그래프를 보면 축을 표현하는 방법과 그 크기가 잘 바뀐 것을 확인할 수 있다.

Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables[ICML 2019]

버즈밴드 — Mon, 28 Feb 2022 18:52:46 +0900

저자 : Kate Rakelly*, Aurick Zhou*, Deirdre Quillen, Chelsea Finn, Sergey Levine

논문 출처 : https://arxiv.org/pdf/1903.08254.pdf

참고하면 좋은 영상 : https://www.youtube.com/watch?v=w9KAmvUA9WI&t=691s

0. Abstract

기존 Meta Learning 방법들은 대부분 on-policy 에 의존
- 이는 sample efficiency의 큰 저하를 불러옴
- 새로운 task에 적응할 때, task uncertainty를 추론하는 메커니즘이 부족해 sparse reward problems에서 효과를 제한함
task inference와 control을 분리하는 off-policy Meta-RL 알고리즘을 사용하여 위의 문제들을 해결
- 적은 경험으로 어떻게 task를 푸는지 추론하는 online probabilistic filtering of latent task variables 이용
- 확률론적 추론은 구조적이고 효율적인 exploration을 위한 posterior sampling을 가능하게함
이전의 알고리즘들보다 sample efficiency 측면에서 20~100배의 성능을 보여줌

1. Introduction

on-policy Meta Learning은 학습 과정에서 많은 양의 데이터를 필요로 하기 때문에 효율적이지 못함
부족한 sample efficiency를 향상시키기 위해서는 off-policy data로 학습하는 과정이 필요
- behavior policy와 target policy가 다른 policy가 off-policy임
- e.g. Soft Actor Critic, DQN (Replaybuffer 사용)
그러나 off-policy data를 사용하면 meta-train 과정에서 본 data와 test 과정에서 본 data가 구조적으로 다름으로 학습에 어려움이 생김
이를 해결하기 위해 meta-train 과정에서 probabilistic encoder를 학습함
probabilistic encoder는 과거의 경험들을 context variables로 바꿔주고 이는 policy로 하여금 task를 수행할 수 있게 만들어줌
즉, task inference와 policy를 분리시켜줌으로서 off-policy data를 이용가능하게 만듬
- policy는 off-policy data로 학습됨
- probabilistic encoder(task inference)는 on-policy data로 학습됨 (meta-train과 meta-test data 사이의 distribution mismatch를 줄이는 방향으로)
- meta-test 과정에서는 meta-train에서 학습된 probabilistic encoder를 통하여 새로운 task inference를 수행한 후 생성된 latent variable을 이용해 효율적인 exploration 수행

2. Related Work

Meta Learning
- Context-based method : task의 latent representation variable을 학습하고 이를 condition으로 policy 생성
  - PEARL은 기존의 방법과 다르게 task를 probabilistic latent variable로 표현해 task의 uncertainty를 표현
  - 또한 많이 사용하는 RNN을 사용하지 않고 encoder를 사용

- Gradient-based method : on-policy data를 활용한 Policy gradient를 사용해 policy 생성
  - PEARL은 off-policy data를 사용
Probabilistic Meta Learning
Posterior Sampling
- 고전적인 RL에서 posterior sampling은 가능한 MDP에 대해 posterior를 sampling 하고 sampling된 MDP를 고려해 확장된 exploration을 가능하게 함
- PEARL에서는 이를 meta-learning 입장에서 바라보고 현재 task의 uncertainty를 포착해 새로운 task에 대해서도 구조적인 exploration을 가능하게 만듬
Partially observed MDPs
- task를 관측되지 않은 state의 일부로 본다면 test 과정에서 adaptation하는 문제는 POMDP의 문제로 볼 수도 있음
- PEARL은 task의 belief를 estimate하기 위해 기존 POMDP 문제를 풀 때 사용하는 variational 접근을 사용함

3. Problem Statement

$\tau = \{p(s_0),p(s_{t+1}|s_t,a_t),r(s_t,a_t)\}$
context c : the history of past transitions
$C^\tau_n = (s_n,a_n,r_n,s_n')$

4. Probabilistic Latent Context

새로운 task의 recent experience를 이용하여 latent variable Z를 추론하기 위해 meta-train task 이용
추론된 Z를 이용해 $\pi_\theta(a|s,z)$를 optimize

4.1. Modeling and Learning Latent Contexts

$p(z|c)$를 추정하기 위해 inference network $q_\phi(z|c)$ encoder를 활용
$q_\phi(z|c)$를 optimize하기 위해 MDP의 reconstruct을 이용
알고리즘의 objective function(목적 함수)는 다음과 같음
$\mathbb{E}_\tau[\mathbb{E}_{z\sim q_\phi(z|c^\tau)} [R(\tau,z) + \beta D_{KL}(q_\phi(z|c^\tau)||p(z))] ] $
- KL Divergence 항은 information bottleneck 역할을 맡음
- Deep variational information bottleneck, https://arxiv.org/pdf/1612.00410.pdf 참고
- meta-train data에 overfitting하는 것을 완화해줌
meta-train할 때만, $q_\phi$가 optimize되고, meta-test 시에는 학습된 network를 이용하여 latent context Z를 추론만 함
fully observed MDP는 순서에 상관 없는(permutation invariant) transitions들의 집합으로 task가 무엇인지 추론할 수 있어야함
위와 같은 생각으로, $q_\phi(z|c_{1:N}$을 단일 transition으로 추론한 factors의 곱으로 표현
- $q_\phi(z|c_{1:N})\propto \Pi^N_{n=1}\Psi_\phi (z|c_n)$
- 아래 그림 참고

4.2. Posterior Sampling and Exploration via Latent Contexts

확률론적으로 모델링한 latent context는 meta-test 과정에서 posterior sampling을 이용해 효율적인 exploration을 가능하게 함
PEARL은 MDP reconstruction, Actor, Critic 등의 최적화를 통해 직접 posterior over the latent context Z 추론 가능
meta-train 과정에서는 meta-train data를 활용하여 task에 대한 distribution을 포착하고 experience를 활용하여 새로운 task를 추론하는 방법을 학습함
meta-test 과정에서는 episode마다 z를 prior에서 sampling 하고 z가 condition된 policy를 수행함
쌓이는 경험들을 모아 posterior를 다시 update하고 이 과정을 반복하면 점점 policy가 optimal하게됨

5. Off-Policy Meta-Reinforcement Learning

off-policy를 probabilistic context model과 합치고 싶은 이유는 meta-training과 fast adaptation 모두에서 sample efficiency를 향상시키고 싶어서임
그러나 현대 meta-RL은 meta-train과 adaptation 하고 싶은 meta-test 사이의 distribution이 동일하다고 가정하기 때문에 off-policy를 meta-RL에 이용하기 쉽지 않음
- 이 말은 곧, meta-test 과정이 on-policy로 이루어지기 때문에 meta-train 과정도 on-policy로 이루어져야함을 뜻함
또한 meta-RL은 효과적인 확률적 exploration을 학습하기 위해 policy가 distribution에 대해 추론해야함
- 이 문제는 TD-error를 minimize하는 off-policy RL로 풀 수 없음
- 방문한 state들에 대한 distribution을 직접 optimize할 수 없기 때문
- 직접 action들을 control 하는 on-policy RL은 가능
위와 같은 문제점을 해결하고 sample efficiency가 좋은 off-policy RL을 활용하기 위해, encoder 학습을 위한 data(on-policy)와 policy 학습을 위한 data(off-policy loop)를 분리
전체 Replaybuffer B에서 sampling된 off-policy data로 actor와 critic이 학습됨
encoder는 정의한 sampler Sc에서 sampling된 context batches를 이용해 학습됨
sampler Sc가 entire buffer에서 sampling되는 경우, on-policy test data와의 distribution mismatch가 생길 수 있음
하지만 context는 on-policy를 엄격하게 따를 필요는 없음
on-policy와 off-policy 사이의 접근방법으로 최근 수집된 data들로 이루어진 replaybuffer를 이용하는 것이 on-policy data를 사용하는 것보다 더 나은 효율성과 비슷한 성능을 보임
meta-train procedure는 다음과 같음

5.1. Implementation

SAC(Soft Actor Critic) 알고리즘을 off-policy method로 사용
- stability와 sample efficiency 측면에서 좋고, probabilistic interpretation(entropy)가 있기에 결합하기 좋다고 판단
VAE(Variational Auto Encoder)와 마찬가지로, sampling에서 오는 미분 불가 문제를 reparameterization trick을 이용해 해결
encoder를 학습할 때 MDP의 reconstruction이나 rewards를 maximize하는 것보다 state-action value function, 즉 qfunction을 reconstruct하는 방향으로 학습하는 것이 효율적임을 확인
Critic Loss는 다음과 같음
$L_{critic}=\mathbb{E}_{(s,a,r,s')\sim\beta, z\sim q_{\phi}(z|c)}[Q_\theta (s,a,z) - (r+\overline{V}(s',\overline{z}))]^2$
$\overline{V}$는 target network를 의미하고 $\overline{z}$는 gradient가 계산되지 않음을 의미
Actor Loss는 z가 추가된 것 뿐이지 SAC와 동일하고, 다음과 같음
$L_{actor}=\mathbb{E}_{s\sim\beta,a\sim\pi_\theta,z\sim q_\phi(z|c)}[D_{KL}(\pi_\theta(a|s,\overline{z})||\frac{exp(Q_\theta(s,a,\overline{z}))}{Z_\theta(s)})]$
context data sampler Sc는 최근에 수집된 data에서 sampling이 이루어지고, actor-critic을 위한 data는 entire replaybuffer에서 sampling이 이루어짐
위의 과정들이 정리된 알고리즘은 다음과 같음

6. Experiments

6.1. Sample Efficiency and Performance

Mujoco Simulator 환경에서 실험 수행

Half Cheetah, Humanoid, Ant : reward setting이 다른 task에 adaptation하는게 목표
Walker : dynamics setting(transition probability)가 다른 task에 adaptation하는게 목표
gradient-based meta-RL ProMP와 MAML-TRPO, recurrent-based meta-RL RL^2(with PPO)와 비교실험

PEARL 방법은 기존의 meta-RL 방법들보다 sample-efficiency 측면에서 20-100x의 성능을 보여줌
뿐만 아니라, 최종 도달 성능도 50-100%의 높은 성능을 보여줌

6.2. Posterior Sampling For Exploration

posterior sampling이 얼마나 exploration하는데 효율적인지 검증하는 실험을 수행함
2D navigation task with a point robot 사용
- edge 부분에 생기는 특정 radius를 가진 파란 원에 도달하는 것이 목표
- sparse reward problem임
PEARL과 마찬가지로 probabilistic task variables를 모델링하지만 on-policy gradient-based meta-RL인 MAESN과 비교실험
meta-train, meta-test 과정 모두 PEARL이 더 뛰어난 sample efficiency 성능을 보임

6.3. Ablations

Inference Network Architecture
- permutation-invariant encoder vs RNN (unordrered transitions) vs RNN (sets of trajectories)
- permutation-invariant encoder의 성능이 가장 좋음
- RNN (sets of trajectories)가 성능이 제일 안 좋음
- 이는 RL objective로 사용된 sample들을 decorrelating하는 것이 중요함을 보여줌

Data sampling strategies
- PEARL은 sampler Sc가 최근 수집된 data에서 sampling하고 off-policy를 위한 data와 분리됨
- 비교 실험 두 번째 방법은 최근 수집된 것을 고려하지 않고 off-policy와 분리되지만 entire replaybuffer에서 sampling하는 방법
- 비교 실험 세 번째 방법은 off-policy RL batch와 같은 data를 사용하는 방법 (off-policy RL-batch)
- 세 번째 방법이 두 번째 방법보다 나은 성능을 보였는데, 이는 둘 사이의 correlation이 학습을 쉽게 만들었을 것이라 판단됨

Deterministic context
- encoder를 거쳐 나온 output이 distribution을 따르지 않고, deterministic 한 경우와 비교
- latent context variable의 stochasticity가 없으므로, 유일한 확률성은 policy에서 나오고 이는 시간 불변성함으로 exploration을 방해함

7. Conclusion

task를 추론하는 것과 푸는 것을 나누어 train과 test 사이의 distribution mismatch를 minimize함
이러한 접근은 off-policy RL 알고리즘에 있어서 매우 의미있는 접근임
Context를 확률적으로 모델링하면 test 과정에서 exploration을 위한 posterior sampling이 가능함
이는 일시적으로 adaptation efficiency를 향상시키는 exploration을 가능하게 함

[ROS TUTORIAL] - 2. 기본 명령어

버즈밴드 — Wed, 13 Oct 2021 23:38:08 +0900

roscd : 지정한 ROS 패키지의 디렉터리로 이동
roscore : 마스터, 로그 기록, 파라미터 관리 등
rosrun : 노드 실행
roslaunch : 노드를 여러 개 실행 및 실행 옵션 설정
rosclean : ROS 로그 파일을 검사하거나 삭제

rostopic : 토픽 정보 확인
rosservice : 서비스 정보 확인
rosnode : 노드 정보 확인
rosparam : 파라미터 정보 확인, 수정
rosbag : 메시지 기록, 재생
rosmsg : 메시지 정보 확인
rossrv : 서비스 정보 확인

catkin_create_pkg : 패키지 자동 생성
catkin_make : 캐킨 빌드 시스템에 기반을 둔 빌드
catkin_eclipse : 캐킨 빌드 시스템으로 생성한 패키지를 이클립스에서 사용할 수 있게 변경
catkin_prepare_release : 릴리즈할 때 사용되는 로그 정리 및 버전 태깅
catkin_generate_changelog : 릴리즈할 때 CHANGELOG.rst 파일 생성 또는 업데이트
catkin_init_workspace : 캐킨 빌드 시스템의 작업 폴더 초기화
catkin_find : 캐킨 검색

rospack : ROS 패키지와 관련된 정보 보기
rosinstall : ROS 추가 패키지 설치
rosdep : 해당 패키지의 의존성 파일 설치

https://wiki.ros.org/Tools 참조하면 좋음

자료 출처 표시 :

https://bunnycode.tistory.com/26

[ROS TUTORIAL] - 0. Intro

안녕하세요!! 버즈밴드입니다. 이번 카테고리는 ROS에 관한 글들을 작성해보려고 합니다. Python, C, C++과 다르게 ROS는 인터넷을 찾아봐도 한글 자료들이 많이 없어 혼자 공부하기 꽤나 힘들었습니

bunnycode.tistory.com

[ROS TUTORIAL] - 1. 기본 용어

버즈밴드 — Wed, 13 Oct 2021 20:49:56 +0900

Node

→ 최소 단위의 실행 가능 프로세서

→ ROS에서 Node 단위로 프로그램을 나누어 작업

→ 각 Node는 메시지 통신으로 데이터를 주고 받음

Package

→ 위의 노드 혹은 노드 실행을 위한 정보 등을 묶어 놓은 것

→ 패키지의 묶음을 메타패키지라고도 함

Message

→ 노드간의 데이터를 주고받을 때 사용하는 수단

→ 메시지는 integer, floating point, boolean 와 같은 변수형태

→ 메시지 안의 메시지를 품고 있는 배열과 같은 구조도 사용 가능

Topic

→ 단방향의 메시지 통신 방법(연속성을 가짐) (ex, 센서 데이터)

→ 보내는 애 : Publisher, 받는 애 : Subscriber

→ 1:N, N:1, N:N 도 가능

→ 대부분의 메시지에 Topic 사용

Service

→ 양방향의 메시지 통신 방법(1회성)

→ 요청하는 애 : Client 수행하는 애 : Server

Action

→ 양방향의 메시지 통신 방법인데, 중간에 피드백 가능

→ 장시간 혹은 복잡한 task에 사용됨

Message 통신 방법

1. 마스터 구동

roscore

2. 서브스크라이버 노드 구동

rosrun 패키지이름 노드이름

# 노드 정보
/subscriber_node_name,
/topic_name,
message type,
http://ROS_HOSTNAME:1234

3. 퍼블리셔 노드 구동

rosrun 패키지이름 노드이름

# 노드 정보
/publisher_node_name,
/topic_name,
message type,
http://ROS_HOSTNAME:5678

4. 퍼블리셔 정보 알림

→ 마스터 노드가 서브스크라이버 노드에게 퍼블리셔 정보 알림

5. 퍼블리셔 노드에 접속 요청

→ 마스터에게 받은 퍼블리셔 정보를 이용하여 TCPROS 접속 요청

6. 서브스크라이버 노드에 접속 응답

7. TCP 접속 & 메시지 전송

실습해보기!

1. 먼저 Turtlesim 패키지 설치하기

sudo apt install ros-melodic-turtlesim

2. 마스터 노드 설정

roscore

→ 마스터 노드는 항상 실행된 상태이어야 하므로 터미널을 닫으면 안됨!

→ 새로운 터미널을 열어 다른 노드들 실행

3. 서브스크라이버 노드 실행

rosrun turtlesim turtlesim_node

→ 위의 사진처럼 입력해주면 다음과 같은 창이 뜸

4. 퍼블리셔 노드 실행

rosrun turtlesim turtle_teleop_key

→ 마찬가지로 새로운 터미널을 오픈하고 실행해야함

→ 위와 같이 키를 움직이면서 turtle을 움직일 수 있음

→ 이 때 방향키 입력을 퍼블리셔 노드를 실행시킨 터미널 창에서 해야함

(정보를 발행시키는 창이니까 당연하기도 한데,

나는 몰라서 처음에 turtlesim 실행창에 함...ㅠㅠ)

5. 노드 간 관계 표현 가능

rqt_graph

→ 당연히 마찬가지로 새로운 터미널 창을 열고 입력해야함

→ 마스터와 서브스크라이버, 퍼블리셔 노드 관계를 표현하면 다음과 같음

→ 위의 경우 twist message 형태

ROS 메시지 자세히 살펴보려면!

→ http://wiki.ros.org/msg

msg - ROS Wiki

ROS uses a simplified messages description language for describing the data values (aka messages) that ROS nodes publish. This description makes it easy for ROS tools to automatically generate source code for the message type in several target languages. M

wiki.ros.org

네임(Names)

→ 노드, 메시지가 가지는 고유의 식별자

→ 같은 네임의 노드 실행 불가 ⇒ 바꾸고 실행해야함

자료 출처 표시 :

https://bunnycode.tistory.com/26

[ROS TUTORIAL] - 0. Intro

bunnycode.tistory.com

[ROS TUTORIAL] - 0. Intro

버즈밴드 — Sun, 10 Oct 2021 19:16:09 +0900

안녕하세요!! 버즈밴드입니다.

이번 카테고리는 ROS에 관한 글들을 작성해보려고 합니다.

Python, C, C++과 다르게 ROS는 인터넷을 찾아봐도 한글 자료들이 많이 없어 혼자 공부하기 꽤나 힘들었습니다.

그래도 오로카(네이버 오픈소스로봇카페)를 비롯해 많은 분들이 정리해두신 자료들이 정말 많은 도움이 되었는데,

아무래도 여러 분들이 개별적으로 작성하신 것들이라 공부할 때 통일성을 찾아가며 순서대로 공부하기 힘들었습니다.

그래서 공부할 때 처음 ROS 접하신 분들이 따라오기 쉽도록 총 18편의 튜토리얼을 새로 작성했고

이에 대한 게시물들을 먼저 올릴 생각입니다!!

많은 도움이 되길 바라며, 사용하는 ROS 버전과 자료들의 출처는 다음과 같습니다.

감사합니다!!

ROS version : ros1-melodic (noetic도 가능하지만 약간 상이할 수 있음)

자료 출처 :

https://cafe.naver.com/openrt?iframe_url_utf8=%2FArticleRead.nhn%253Fclubid%3D25572101%2526articleid%3D25329

오픈소스 소프트웨어 & 하드웨어: 로... : 네이버 카페

오픈소스 소프트웨어/하드웨어로 만드는 로봇 기술 공유 카페 (ROS,ARM,AVR,mbed,라즈베리파이,아두이노)

cafe.naver.com

https://www.notion.so/byeongkyu/ROS-73000a9914684ac89ed8a835c6963b5e

ROS 로봇 프로그래밍

ROS1 (Robot Operating System)에 대한 전반적인 이해 및 다양한 도구 활용 방법 습득 실제 로봇 모델링 및 시뮬레이션 Navigation, MoveIt! 등 로봇 제어를 위한 프레임웍 실습

www.notion.so

https://www.youtube.com/playlist?list=PLRG6WP3c31_VIFtFAxSke2NG_DumVZPgw

ROS Courses (한국어)

https://github.com/robotpilot/ros-seminar

www.youtube.com

https://pinkwink.kr/category/Robot/Robot%20Program%20-%20ROS?

'Robot/Robot Program - ROS' 카테고리의 글 목록

한 변두리 공학도의 블로그입니다. 재미있어 보이는 것들을 모두 기초스럽게 접근하는 블로그이며... 그보다 더욱 소중한 우리 아가 미바뤼의 발자취를 남겨두는 블로그이기도 합니다.

pinkwink.kr

[Python] - 23) 표준 모듈 불러오기

버즈밴드 — Fri, 11 Sep 2020 16:04:25 +0900

모듈에 대해 살펴볼게요! 모듈은 크게 '표준 모듈' 과 '외부 모듈' 로 나뉩니다.

파이썬에 내장되어 있는 모듈을 표준 모듈,

다른 사람들이 만들어 공개한 모듈을 외부 모듈이라 합니다.

먼저 표준 모듈을 불러오는 방법을 살펴볼게요.

import <모듈 이름>

을 통해 가져오거나

from <모듈> import <가져오고 싶은 것>

을 통해 불러올 수 있습니다.

(이 때, <가져오고 싶은 것> 에 *를 사용하면 모든 변수 혹은 함수를 다 가져올 수 있습니다만,

식별자 이름에서 원래 사용하던 것들과 충돌이 발생할 수 있으니 조심해야합니다.)

위에서 발생할 수 있는 식별자 이름끼리의 충돌을 막고 싶거나 모듈의 이름이 너무 길어 짧게 줄여 사용하고 싶을 때는

as 구문을 이용하면 됩니다.

import <모듈> as <사용하고 싶은 식별자>

위의 구문을 통해 사용하고 싶은 식별자로 모듈을 불러올 수 있습니다.

모듈에는 여러 모듈들이 있는데 모듈들이 어떠한 함수와 변수를 가지고 있는지는

아래와 같이 자동완성기능을 통해 확인할 수 있습니다.

자동완성기능으로 모듈의 함수와 변수 확인하기

모듈에는 여러 종류들이 있는데 한 번에

math, random, sys, os, datetime, time, urllib 모듈을 살펴볼게요.

1) math 모듈

코드 입력 화면

코드 실행 화면

2) random 모듈

코드 입력 화면

코드 실행 화면

3) sys 모듈

코드 입력 화면

코드 실행 화면

4) os 모듈

코드 입력 화면

코드 실행 화면

5) datetime 모듈

코드 입력 화면

코드 출력 화면

6) time 모듈

코드 입력 화면

코드 실행 화면

7) urllib 모듈

코드 입력 화면

코드 실행 화면

위의 제가 사용한 코드들을 직접 입력해보면서 모듈이 무엇인지 익혀보면

별로 어렵지 않을거에요!

이러한 것들을 전부 외워야되나?? 그건 절대 아닙니다!!!

아 현재 시간을 구할때는 datetime 모듈을 사용했고, 랜덤으로 수를 뽑을 경우에는 random 모듈을 사용했구나.

이정도로만 기억하고 모듈의 함수들은 자동완성기능 혹은 검색으로 나오니까 세세히 외우기보다는 크게 크게

모듈의 종류와 이름 그리고 쓰임새 정도만 기억해두면 좋을 것 같습니다.

'Hello Coding 파이썬' 을 참고하여 작성하였음.

[Python] - 22) 예외 객체, 예외 구분하기

버즈밴드 — Thu, 27 Aug 2020 21:29:37 +0900

try except 구문으로 예외의 정보, 즉 '예외 객체'를 확인할 수 있습니다.

try :

<예외가 발생할 가능성이 있는 구문>

except <예외의 종류> as <예외 객체를 활용할 변수 이름> :

<예외가 발생했을 때 실행할 구문>

바로 예시를 들어볼게요!

코드 입력 화면

코드 실행 화면

위의 실행된 코드 화면을 보면 정수를 입력함으로서 생기는 오류의 종류, 즉 '예외 객체의 자료형'은 'ValueError" 라는 것을 알 수 있고,

내용은 'invalid literal for int() with base 10 : '정수' 라는 것을 알 수 있습니다.

그렇다면 위에서의 예외 객체를 사용해 예외를 구분해보도록 하겠습니다.

예외 구분은 생기는 예외의 종류가 무엇인지 알고 싶을때 사용합니다.

코드 입력 화면

위의 코드에 문자열을 입력하면 아래와 같은 오류가,

문자열을 입력했을 때의 오류

범위에서 벗어난 수를 입력하면 아래와 같은 오류가 나타납니다.

범위에서 벗어난 수를 입력했을 때의 오류

위의 두 가지 오류를 구분해서 처리하고 싶을 때 except 구문 뒤에 예외의 종류를 입력해서, 예외를 구분할 수 있습니다.

try :

<예외가 발생할 가능성이 있는 구문>

except <예외의 종류A> :

<예외A가 발생했을 때 실행할 구문>

except <예외의 종류B> :

<예외B가 발생했을 때 실행할 구문>

코드 입력 화면

문자를 입력했을 때

범위에 벗어난 수를 입력했을 때

위와 같이 예외의 종류에 따라 구분하는 것이 가능합니다!

하지만, 예외 처리 구분에 없는 예외가 발생한다면 try except 구문을 사용했음에도 불구하고 프로그램에 오류가 생깁니다.

예를 들어, 위에서 다루었던 코드 작성 시 아무런 의미없는 코드를 추가하게 되면 프로그램에 오류가 생깁니다.

일부러 오류를 작성한 코드 입력 화면

코드 실행 화면

위와 같이 구분되지 않는 예외가 발생하면 오류가 생깁니다.

이는 모든 예외를 다룰 수 있는 Exception 을 사용하면 해결이 가능합니다.

바로 예시를 볼게요!

코드 입력 화면

코드 실행 화면

이렇게 Exception 을 사용하면,

다른 오류가 발생했을 때 코드를 정상적으로 실행시켜주고 그 오류의 종류가 무엇인지도 알 수 있습니다.

여태까지 예외 처리에 대해 배웠습니다.

그런데 프로그램을 개발하다 보면, 아직 구현되지 않은 부분을 확실히 표현해야하기 때문에

일부러 예외를 발생시켜 프로그램을 종료해야하는 상황이 생깁니다.

이런 경우에 필요한 것이 raise 구문입니다.

raise <예외 객체>

예시 :

코드 입력 화면

위와 같이 raise 구문을 입력하여 프로그램이 제대로 실행되지 않게 만들 수 있습니다!

'Hello Coding 파이썬' 을 참고하여 작성하였음.

[Python] - 21) 예외 처리(try except else finally)

버즈밴드 — Wed, 26 Aug 2020 16:31:10 +0900

바로 저번 포스팅에서 try except 구문을 활용해 예외 처리하는 방법을

배웠는데요.

이번에는 try except 구문에다 else 를 추가해보도록 하겠습니다.

try :

<예외가 발생할 가능성이 있는 코드>

except :

<예외가 발생했을 때 실행할 코드>

else :

<예외가 발생하지 않았을 때 실행할 코드>

저번에 사용한 코드를 그대로 사용해볼게요.

try, except 구문만 있을 때는 예외가 발생하지 않았을 때 실행할 코드도 try 영역에 넣었었죠??

이번에는 예외 발생 가능성이 있는 코드만 try 영역에 넣고 else 구문으로 나머지를 빼보겠습니다.

try :
input_1,input_2 = int(input("가속도 입력 >")),int(input("시간 입력 >"))
except :
print("정수로만 입력 가능해요.")
else :
print("등가속도 운동할 때")
print("가속도 :", input_1)
print("속도 :", input_1 * input_2)
print("거리 :", input_1 * input_2 ** 2 / 2)

코드 입력 화면

코드 실행 화면

try, except, else 구문으로 실행이 잘 된 것을 확인할 수 있습니다.

이번에는 finally 를 추가해 사용해보도록 하겠습니다.

finally 구문은 예외 처리 구문에서 가장 마지막에 사용할 수 있는 구문입니다.

try :

<예외가 발생할 가능성이 있는 코드>

except :

<예외가 발생했을 때 실행할 코드>

else :

<예외가 발생하지 않았을 때 실행할 코드>

finally :

<무조건적으로 실행할 코드>

즉, finally 구문은 예외가 발생하든 안하든 실행해야 할 코드를 실행해줍니다.

여태껏 들었던 예시 상황에서 정수로 입력하든 입력하지 않든 프로그램이 실행되었다는 것을 보여주기 위해 사용해보겠습니다.

예시 :

코드 입력 화면

정수 입력 화면

정수를 입력하지 않았을 때의 화면

이렇게 정수를 입력할 때는try, else 구문과 finally 구문안의 코드가 실행되고

정수를 입력하지 않았을 경우에는 except 구문과 finally 구문안의 코드가 실행되는 것을 확인할 수 있습니다.

저번 포스팅 부터 조건문, try except 구문 등등 예외 처리를 하는 방법들을 배워 봤는데,

여러 조합으로 가능한 예외 처리 구문들이 정말 많습니다.

이 중 모든 것을 활용해야 할 필요는 당연히 없지만, 다른 사람들이 작성해둔 코드를 이해할 수 있어야 하므로

꼭 사용안하더라도 코드가 수행하는 역할 정도는 기억해두면 좋을 것 같아요!

'Hello Coding 파이썬'을 참고하여 작성하였음.

[Python] - 20) 예외 처리(조건문 활용, try except 구문)

버즈밴드 — Tue, 25 Aug 2020 17:51:51 +0900

여태까지 파이썬을 공부하면서 여러 오류들을 보셨을 겁니다.

오류는 크게 '구문 오류' 와 '예외 오류(런타임 오류)' 로 나뉘는데 두 가지가 무엇인지 먼저 알아볼게요.

1) 구문 오류 = 프로그램 자체가 실행되지 않는 오류

예시 :

print("구문 오류")

print("프로그램이 실행 자체가 안되는 구만"

위와 같이 일부러 두 번째 print 구문의 괄호를 작성하지 않으면 아래와 같은 오류가 발생합니다.

오류 화면

저기 보이는 SyntaxError 라고 불리는 것은 '구문 오류'를 의미합니다.

첫 번째 작성된 올바른 print 구문도 실행되지 않은 것을 확인할 수 있습니다.

그렇다면 '예외 오류' 는 어떨까요?

2) 예외 오류(런타임 오류) = 프로그램이 일단 실행된 다음, 실행 중에 발생하는 오류

예시 :

print("프로그래밍 일단 시작되었구나")

print(x)

위와 같이 일부러 정의되지 않는 x 를 print 하는 코드를 작성하면 아래와 같은 오류가 발생합니다.

오류 화면

첫 번째 print 구문은 실행이 되고 두 번째 구문에서 오류가 생긴 것을 확인할 수 있습니다.

이렇게 프로그램이 실행은 되지만 실행 된 후의 오류를 예외 혹은 런타임 오류라고 합니다.

이렇게 두 가지 오류 모두 코드 작성을 수정하면 바로 잡을 수 있지만, 경우에 따라 프로그램이 복잡해지면 예외를 처리하면 편한 경우가 생깁니다. (예외가 발생하지만 예외를 처리함으로서 정상적인 코드가 실행되도록 함, 말이 복잡하지만 예시를 통해 보면 이해가 수월해요!)

이제부터 예외 처리 방법에 대해 다룰건데

첫 번째로 예외 처리 방법으로 조건문을 한번 사용해봅시다!

바로 예시 볼게요! (가속도와 시간이 주어졌을 때, 속도와 거리를 구하는 코드)

input_1,input_2 = int(input("가속도 입력 >")),int(input("시간 입력 >"))
print("등가속도 운동할 때")
print("가속도 :", input_1)
print("속도 :", input_1 * input_2)
print("거리 :", input_1*input_2**2/2)

코드 입력 화면

정상적으로 숫자를 입력하면 다음과 같이 코드가 잘 실행됩니다.

코드 실행 화면

하지만, 정수를 입력한 것이 아니라 문자열을 입력했을때는???

오류 화면

위와 같은 오류가 발생하게 됩니다.

이를 '정수로 입력하지 않았을 때'를 조건으로 구분해서, 해당 상황일 때 다른 처리를 하도록 해 예외를 처리해보겠습니다!

input_1,input_2 = input("가속도 입력 >"),input("시간 입력 >")
if input_1.isdigit() and input_2.isdigit() :
num_1,num_2 = int(input_1),int(input_2)
print("등가속도 운동할 때")
print("가속도 :", num_1)
print("속도 :", num_1 * num_2)
print("거리 :", num_1 * num_2 ** 2 / 2)

else :
print("정수만 가능해요. 다시 입력해주세요")

코드 입력 화면

정수가 아닌 것을 입력했을 때 예외 처리된 화면

위의 실행 화면을 보면 정수가 아닌 것을 입력했을 때 예외가 처리된 것을 확인할 수 있습니다.

두 번째로 try except 구문을 사용하여 예외 처리하는 방법을 알아보겠습니다.

try :

<예외가 발생할 가능성이 있는 코드>

except :

<예외가 발생했을 때 실행할 코드>

예시 :

코드 입력 화면

코드 실행 화면

try 안의 구문을 실행해보고 실행 되지 않는 경우 except 구문을 실행하라!

이런 의미로 받아들이니 저는 이해가 수월했어요!!

try except 구문을 잘 알고 있다면 이는 코드의 활용 방법에도 다양하게 적용될 수 있습니다!

예를 들어, 주어진 리스트에서 숫자로 변환되는 것들로만 이루어진 새로운 리스트를 만들어보겠습니다!

list_1 = ["123", "313", "515", "918", "나는 문자열이지롱", "717"]
list_2 = []
for item in list_1 :
try :
float(item)
list_2.append(item)
except :
pass
print("{} 내부에 있는 숫자는".format(list_1))
print("{}입니다.".format(list_2)

코드 입력 화면

코드 출력 화면

'Hello Coding 파이썬' 을 참고하여 작성하였음.

[Python] - 19) 파일 처리, with 구문

버즈밴드 — Mon, 24 Aug 2020 19:17:43 +0900

이번 포스팅에서는 파일 처리와 관련되는 함수들을 살펴볼게요!

(파일 = '텍스트 파일' + '바이러니 파일' 로 나뉘는데, 일단 '텍스트 파일' 관련된 내용만 볼게요.)

1) 첫번째로 파일 열고 닫기

# 파일 열기

<파일 객체> = open(<문자열 : 파일 경로>, <문자열 : 읽기 모드>)

# 파일 닫기

<파일 객체>.close()

이 때, 파열 열기 모드는 다음과 같습니다.

파일 열기 모드	설명
w	write 모드 (새로 쓰기 모드)
a	append 모드 (뒤에 이어서 쓰기 모드)
r	read 모드 (읽기 모드)

예시 :

코드 입력 화면

위의 코드가 입력된 경로, 파일에 "basic.txt" 파일이 생긴 것을 볼 수 있습니다.

basic.txt. 파일 생성

클릭해서 열어 보면, 아래와 같이 텍스트가 입력된 텍스트 파일인 것을 확인할 수 있습니다.

basic.txt 텍스트 입력 화면

주의사항 : 파일을 open() 함수로 열면 꼭 close() 함수로 닫는 습관을 기르세요!!

(프로그램이 종료되면 자동으로 파일이 모두 닫히기는 하지만, 긴 프로그램을 만드려고 할 때 문제될 수 있으므로 실수하지 않도록 항상 닫아주는 것이 좋습니다.)

2) with 키워드

위의 주의사항에서도 언급 했듯이 프로그램이 길어지면, open() 함수와 close() 함수 사이에 많은 코드가 들어갑니다.

그래서 파일을 열고 닫지 않는 실수를 하는 경우가 생길 수 있는데, 이러한 것을 방지하기 위해 with 키워드가 생겼습니다.

with 키워드를 통해 함수를 코드를 작성하면, with 구문 부분이 종료될 때 자동으로 파일이 닫힙니다.

(tensorflow 로 perceptron 구현할 때도 사용했었는데, 기억 나시나요?)

with open(<문자열 : 파일 경로>, <문자열 : 읽기 모드>) as <파일 객체> :

<문장>

예시 :

코드 입력 화면

생성된 txt 화면

이렇게 with 구문을 사용하면, 파일을 열고 닫지 않는 실수를 줄일 수 있겠죠?

3) 텍스트 읽기

<파일 객체>.read()

위의 코드로 파일 내부의 데이터를 모두 읽어 출력할 수 있습니다.

예시 :

코드 입력 화면

코드 출력 화면

아까 text 파일에 입력한 "with 구문으로 텍스트 작성해보기" 가 출력되어 나온 것을 확인할 수 있습니다.

4) 텍스트 한 줄 씩 읽기

텍스트를 사용해 데이터를 구조적으로 표현할 수 있는 방법으로 CSV, XML, JSON 등이 있는데, 이 중 CSV 를 살펴볼게요.

CSV = Comma Separated Values 의 줄임말인데, 쉼표들로 데이터를 구분하는 방식입니다.

예를 들어,

회사, 기종, 시리즈

애플, 아이폰, xs max

삼성, 갤럭시, 노트 20

위와 같이 한 줄에 하나의 데이터를 나타내며, 각각의 줄에서는 쉼표를 사용해 데이터를 구분해서 입력합니다.

예시로, 1000명의 이름, 키, 몸무게 데이터를 가진 파일을 만들고 파일을 한 줄씩 읽어 들여 처리하는 방법을 알아볼게요!

(random, random.randrange 같은 것들은 아직 안 배웠는데 일단 사용해보겠습니다.)

코드 입력 화면

생성된 1000명의 데이터

이제 생긴 데이터를 for 반복문으로 한 줄 씩 읽어줍니다.

for <한 줄을 나타내는 문자열> in <파일 객체> :

pass

위의 코드를 사용해서, 키와 몸무게로 BMI 도 계산해봅시다!

코드 입력 화면

코드 실행 화면

이렇게 파일의 데이터를 한 줄 씩 읽으면서, 원하는 데이터를 입력받아 사용할 수도 있습니다!!

예시가 좀 어려운데 한 줄 한 줄 무슨 뜻인지 이해하고 기억 안나는거 복습 하시면 도움이 되실 것 같습니다.

'Hello Coding 파이썬' 을 참고하였음.