ialleejy 님의 블로그

보호되어 있는 글입니다.

자연어 처리란?| 컴퓨터가 자연어를 이해할 수 있다면, 인간과 자연스럽게 대화하는 컴퓨터가 가능할 것이다.| 자연어 처리의 응용 분야  중 하나가 챗봇이다. 자연어 처리의 역사| 자연어 처리는 1950년대부터 시작되어, 그동안 많으 연구가 진행되었다.| 그동안은 단어 간의 통계적인 유사성에 바탕을 둔 방법이 사용되었다.| 최근에는 딥러닝을 이용한 방법이 많은 인기를 얻고 있다. 자연어 처리는 주로 순환 신경망(RNN)을 많이 이용한다.음성 인식과 자연어 처리| 자연어 처리는 텍스트 형태로 자연어를 입력받아서 처리한다.| 음성 인식(speech recognition)은 음성에서 출발하여서, 컴퓨터를 이용하여 음성을 텍스트로 변환하는 방법론과 기술을 개발하는 분야 자연어 처리 라이브러리 | NLTK 텍스트 ..

생성 모델이란?- 훈련 데이터의 규칙성 또는 패턴을 자동으로 발견하고 학습하여, 훈련 데이터의 확률 분포와 유사하지만, 새로운 샘플을 생성하는 신경망- 생성 모델은 훈련 데이터들의 잠재 공간 표현을 학습할 수 있으며, 학습이 종료된 후에, 잠재 공간에서 랜덤으로 하나의 좌표가 입력되면 거기에 대응되는 출력을 만들어 낼 수 있다. (1) 생성 모델은 훈련 데이터를 생성하는 규칙을 파악한다. (2) 생성 모델은 결정적이기보다는 확률적이어야 한다.-> 생성 모델에서는 학습이 종료된 후에 입력된느 랜덤 노이즈가 이 역할을 함. (3) 분류 모델과 생성 모델의 차이- 분류 모델(discriminative modeling)> 데이터x와 레이블 y가 주어지면 분류 모델은 x가 어떤 부류에 속하는지를 파악.> 조건부 ..

from bokeh.plotting import figure, showfrom bokeh.sampledata.penguins import datafrom bokeh.transform import factor_cmap, factor_markSPECIES = sorted(data.species.unique())MARKERS = ['hex', 'circle_x', 'triangle']p = figure(title = "Penguin size", background_fill_color="#fafafa")p.xaxis.axis_label = 'Flipper Length (mm)'p.yaxis.axis_label = 'Body Mass (g)'p.scatter("flipper_length_mm", "body_mas..

# 1932에 수확한 Manchuria 종의 지역별 수확량 그리기 import pandas as pdimport altair as alt # Altair 임포트# barley 데이터셋 예제from vega_datasets import data # vega_datasets에서 barley 데이터셋 로드barley = data.barley()# Manchuria 품종만 선택barley_M = barley[barley['variety'] == 'Manchuria']# 특정 연도(1932년) 데이터만 선택barley_M = barley_M[barley_M['year'] == 1932]# Altair로 시각화chart = alt.Chart(barley_M).mark_point().encode( x='si..

시각적으로, 두 개의 원뿔이 대칭적으로 위치한 3D 그래프import numpy as npimport pandas as pdimport matplotlib.pyplot as pltr = np.linspace(0, 2, 100)theta = np.linspace(0, 2 * np.pi, 100)R, Theta = np.meshgrid(r, theta)x = R * np.cos(Theta)y = R * np.sin(Theta)Z1 = 4 * RZ2 = -4 * R%matplotlib inlinefig = plt.figure()ax = plt.axes(projection='3d')ax.plot_surface(x, y, Z1 )ax.plot_surface(x, y, Z2)

[타이타닉]타이타닉 데이터셋: 생존 여부에 따른 fare와 age의 값 범위를 비교import seaborn as snstitanic= sns.load_dataset('titanic')titanicfare_die = titanic[titanic['survived']==0][['fare','age']]fare_survival = titanic[titanic['survived']==1][['fare','age']]f = lambda x: x.max() - x.min()print("died person min-max fare and age ")print(fare_survival.apply(f))print("survival person min-max fare and age ")fare_die.apply(f) "..

import seaborn as snsimport pandas as pdimport plotly.express as pxdf = sns.load_dataset('titanic')class_order = ['Third', 'First', 'Second']df['class'] = pd.Categorical(df['class'], categories=class_order, ordered=True)grouped = df.groupby(['alive', 'class']).size().reset_index(name='count')fig = px.bar(grouped, x='alive', y='count', color='class', ..

import pandas as pdimport folium# 데이터 불러오기bike_data = pd.read_csv('./bike202406.csv')# 서울 중심 좌표로 지도 생성seoul_map = folium.Map(location=[37.5665, 126.9780], zoom_start=12)# 따릉이 대여소 위치를 지도에 점으로 표시for idx, row in bike_data.iterrows(): folium.CircleMarker( location=[row['위도'], row['경도']], # 위도, 경도 컬럼명 확인 필요 popup=row['보관소(대여소)명'], radius=2 # 대여소 이름이 있는 컬럼명 ).add_to(seoul_..

import pandas as pdimport seaborn as snsimport matplotlib.pyplot as pltplanets = sns.load_dataset("planets")planets 행성의 발견 방법에 따른 갯수를 그래프로 그리고 분석# 1번문제planets_grouped1 = planets.groupby("method")["number"].sum().reset_index()plt.figure(figsize=(25, 20))sns.barplot(data=planets_grouped1, x="method", y="number")## 1번문제 분석- 행성발견 방법들 중 Radial Velocity 방법과 Transit 방법이 행성을 찾는데에 있어 주요적으로 많이 사용된 모습을 보인다..